java IO, NIO 相关笔记记录

IO

NIO

Channel

既是可以从通道中读取数据,又可以写数据到通道。但流的读写通常是单向的。
通道可以异步地读写。
从通道读取数据到缓冲区,从缓冲区写入数据到通道,通道中的数据总是要先读到一个Buffer，或者总是要从一个Buffer中写入。

通道重要实现

Java NIO中最重要的通道的实现

FileChannel: 从文件中读写数据。
DatagramChannel: 能通过UDP读写网络中的数据。
SocketChannel: 能通过TCP读写网络中的数据。
ServerSocketChannel: 可以监听新进来的TCP连接,像Web服务器那样。对每一个新进来的连接都会创建一个SocketChannel。

FileChannel

Java NIO中的FileChannel是一个连接到文件的通道。可以通过文件通道读写文件。

FileChannel无法设置为非阻塞模式，它总是运行在阻塞模式下。

打开 FileChannel

1 2	RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw"); FileChannel inChannel = aFile.getChannel();

读取 FileChannel

调用多个read()方法之一从FileChannel中读取数据。

ByteBuffer buf = ByteBuffer.allocate(48);
int bytesRead = inChannel.read(buf);
//首先，分配一个Buffer。从FileChannel中读取的数据将被读到Buffer中。
//然后，调用FileChannel.read()方法。该方法将数据从FileChannel读取到Buffer中。
//read()方法返回的int值表示了有多少字节被读到了Buffer中。如果返回-1，表示到了文件末尾。

写入 FileChannel

使用FileChannel.write()方法向FileChannel写数据，该方法的参数是一个Buffer。

String newData = "New String to write to file..." + System.currentTimeMillis();

ByteBuffer buf = ByteBuffer.allocate(48);
buf.clear();
buf.put(newData.getBytes());

buf.flip();

while(buf.hasRemaining()) {
    channel.write(buf);
}
//注意FileChannel.write()是在while循环中调用的。因为无法保证write()方法一次能向FileChannel写入多少字节
//因此需要重复调用write()方法，直到Buffer中已经没有尚未写入通道的字节。

关闭 FileChannel

1	channel.close();

SocketChannel

Java NIO中的SocketChannel是一个连接到TCP网络套接字的通道。可以通过以下2种方式创建SocketChannel

打开一个SocketChannel并连接到互联网上的某台服务器。
一个新连接到达ServerSocketChannel时，会创建一个SocketChannel。

打开 SocketChannel

1 2	SocketChannel socketChannel = SocketChannel.open(); socketChannel.connect(new InetSocketAddress("http://jenkov.com", 80));

关闭 SocketChannel

1 2	socketChannel.close(); //当用完SocketChannel之后调用SocketChannel.close()关闭SocketChannel

读取 SocketChannel

ByteBuffer buf = ByteBuffer.allocate(48);
int bytesRead = socketChannel.read(buf);
//首先，分配一个Buffer。从SocketChannel读取到的数据将会放到这个Buffer中。
//然后，调用SocketChannel.read()。该方法将数据从SocketChannel读到Buffer中。
//read()方法返回的int值表示读了多少字节进Buffer里。如果返回的是-1，表示已经读到了流的末尾（连接关闭了）。

写入 SocketChannel

写数据到SocketChannel用的是SocketChannel.write()方法，该方法以一个Buffer作为参数。

String newData = "New String to write to file..." + System.currentTimeMillis();

ByteBuffer buf = ByteBuffer.allocate(48);
buf.clear();
buf.put(newData.getBytes());

buf.flip();

while(buf.hasRemaining()) {
    channel.write(buf);
}
//注意SocketChannel.write()方法的调用是在一个while循环中的。
//Write()方法无法保证能写多少字节到SocketChannel。
//所以我们重复调用write()直到Buffer没有要写的字节为止。

非阻塞打开 SocketChannel

如果SocketChannel在非阻塞模式下，此时调用connect()，该方法可能在连接建立之前就返回了。
为了确定连接是否建立，可以调用finishConnect()的方法。

socketChannel.configureBlocking(false);
socketChannel.connect(new InetSocketAddress("http://jenkov.com", 80));

while(! socketChannel.finishConnect() ){
    //wait, or do something else...
}

非阻塞读取 SocketChannel

非阻塞模式下,read()方法在尚未读取到任何数据时可能就返回了。所以需要关注它的int返回值，它会告诉你读取了多少字节。

非阻塞写入 SocketChannel

非阻塞模式下，write()方法在尚未写出任何内容时可能就返回了。所以需要在循环中调用write()。

非阻塞模式与选择器

非阻塞模式与选择器搭配会工作的更好，通过将一或多个SocketChannel注册到Selector
可以询问选择器哪个通道已经准备好了读取，写入等。

ServerSocketChannel

Java NIO中的 ServerSocketChannel 是一个可以监听新进来的TCP连接的通道, 就像标准IO中的ServerSocket一样。

打开 ServerSocketChannel

通过调用 ServerSocketChannel.open() 方法来打开ServerSocketChannel

1	ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();

关闭 ServerSocketChannel

通过调用ServerSocketChannel.close() 方法来关闭ServerSocketChannel.

1	serverSocketChannel.close();

监听连接

通过 ServerSocketChannel.accept() 方法监听新进来的连接。
当 accept()方法返回的时候,它返回一个包含新进来的连接的 SocketChannel。
因此, accept()方法会一直阻塞到有新连接到达。

while(true){
    SocketChannel socketChannel =
            serverSocketChannel.accept();

    //do something with socketChannel...
}

非阻塞模式监听连接

ServerSocketChannel可以设置成非阻塞模式。
在非阻塞模式下，accept() 方法会立刻返回，如果还没有新进来的连接,返回的将是null。
因此，需要检查返回的SocketChannel是否是null.

ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();

serverSocketChannel.socket().bind(new InetSocketAddress(9999));
serverSocketChannel.configureBlocking(false);

while(true){
    SocketChannel socketChannel =
            serverSocketChannel.accept();

    if(socketChannel != null){
        //do something with socketChannel...
    }
}

DatagramChannel

打开 DatagramChannel

1
2
3

DatagramChannel channel = DatagramChannel.open();
channel.socket().bind(new InetSocketAddress(9999));
//DatagramChannel可以在UDP端口9999上接收数据包。

接收数据 DatagramChannel

receive()方法会将接收到的数据包内容复制到指定的Buffer.
如果Buffer容不下收到的数据，多出的数据将被丢弃。

1
2
3

ByteBuffer buf = ByteBuffer.allocate(48);
buf.clear();
channel.receive(buf);

发送数据 DatagramChannel

String newData = "New String to write to file..." + System.currentTimeMillis();

ByteBuffer buf = ByteBuffer.allocate(48);
buf.clear();
buf.put(newData.getBytes());
buf.flip();

int bytesSent = channel.send(buf, new InetSocketAddress("jenkov.com", 80));
//发送一串字符到”jenkov.com”服务器的UDP端口80。 //因为服务端并没有监控这个端口，所以什么也不会发生。也不会通知你发出的数据包是否已收到，因为UDP在数据传送方面没有任何保证。

连接到特定的地址

由于UDP是无连接的，连接到特定地址并不会像TCP通道那样创建一个真正的连接。
而是锁住DatagramChannel ，让其只能从特定地址收发数据。

channel.connect(new InetSocketAddress("jenkov.com", 80));
int bytesRead = channel.read(buf);
int bytesWritten = channel.write(but);
//当连接后，也可以使用read()和write()方法，就像在用传统的通道一样。只是在数据传送方面没有任何保证。

Buffer

简介

Buffer的基本用法
使用Buffer读写数据一般遵循以下四个步骤：

写入数据到Buffer
调用flip()方法
从Buffer中读取数据
调用clear()方法或者compact()方法

当向buffer写入数据时，buffer会记录下写了多少数据。
一旦要读取数据，需要通过flip()方法将Buffer从写模式切换到读模式。
在读模式下，可以读取之前写入到buffer的所有数据。

一旦读完了所有的数据，就需要清空缓冲区，让它可以再次被写入。
有两种方式能清空缓冲区：调用clear()或compact()方法。

clear()方法会清空整个缓冲区。
compact()方法只会清除已经读过的数据。任何未读的数据都被移到缓冲区的起始处，新写入的数据将放到缓冲区未读数据的后面。

RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw");
FileChannel inChannel = aFile.getChannel();

//create buffer with capacity of 48 bytes
ByteBuffer buf = ByteBuffer.allocate(48);

int bytesRead = inChannel.read(buf); //read into buffer.
while (bytesRead != -1) {

  buf.flip();  //make buffer ready for read

  while(buf.hasRemaining()){
      System.out.print((char) buf.get()); // read 1 byte at a time
  }

  buf.clear(); //make buffer ready for writing
  bytesRead = inChannel.read(buf);
}
aFile.close();

capacity

作为一个内存块，Buffer有一个固定的大小值，也叫”capacity”.你只能往里写capacity个byte、long，char等类型。
一旦Buffer满了，需要将其清空（通过读数据或者清除数据）才能继续写数据往里写数据。

position

当你写数据到Buffer中时，position表示当前的位置。初始的position值为0.当一个byte、long等数据写到Buffer后， position会向前移动到下一个可插入数据的Buffer单元。position最大可为capacity – 1.

当读取数据时，也是从某个特定位置读。当将Buffer从写模式切换到读模式，position会被重置为0. 当从Buffer的position处读取数据时，position向前移动到下一个可读的位置。

limit

在写模式下，Buffer的limit表示你最多能往Buffer里写多少数据。
写模式下，limit等于Buffer的capacity。

当切换Buffer到读模式时， limit表示你最多能读到多少数据。
因此，当切换Buffer到读模式时，limit会被设置成写模式下的position值。换句话说，你能读到之前写入的所有数据（limit被设置成已写数据的数量，这个值在写模式下就是position）

Buffer类型

Java NIO 有以下Buffer类型

ByteBuffer
MappedByteBuffer
CharBuffer
DoubleBuffer
FloatBuffer
IntBuffer
LongBuffer
ShortBuffer

Buffer 分配

ByteBuffer buf = ByteBuffer.allocate(48);
//一个分配48字节capacity的ByteBuffer
CharBuffer buf = CharBuffer.allocate(1024);
//分配一个可存储1024个字符的CharBuffer

Buffer 写数据

从Channel写到Buffer。
通过Buffer的put()方法写到Buffer里。

从Channel写到Buffer的例子

int bytesRead = inChannel.read(buf); 
//从Channel写到Buffer的例子
buf.put(127);
//通过put方法写Buffer的例子

Buffer 读取数据

从Buffer中读取数据有两种方式：

从Buffer读取数据到Channel。
使用get()方法从Buffer中读取数据。

flip()方法

flip方法将Buffer从写模式切换到读模式。
调用flip()方法会将position设回0，并将limit设置成之前position的值。
换句话说，position现在用于标记读的位置，limit表示之前写进了多少个byte、char等 —— 现在能读取多少个byte、char等。

//从Buffer读取数据到Channel的例子
int bytesWritten = inChannel.write(buf);

//使用get()方法从Buffer中读取数据的例子
byte aByte = buf.get();

get方法有很多版本，允许你以不同的方式从Buffer中读取数据。
例如，从指定position读取，或者从Buffer中读取数据到字节数组。

其他方法

rewind()方法

Buffer.rewind()将position设回0，所以你可以重读Buffer中的所有数据。
limit保持不变，仍然表示能从Buffer中读取多少个元素（byte、char等）。

clear()方法

一旦读完Buffer中的数据，需要让Buffer准备好再次被写入。
可以通过clear()或compact()方法来完成。

如果调用的是clear()方法，position将被设回0，limit被设置成 capacity的值。
换句话说，Buffer 被清空了。Buffer中的数据并未清除，只是这些标记告诉我们可以从哪里开始往Buffer里写数据。
如果Buffer中有一些未读的数据，调用clear()方法，数据将“被遗忘”，意味着不再有任何标记会告诉你哪些数据被读过，哪些还没有。

compact()方法

如果Buffer中仍有未读的数据，且后续还需要这些数据，但是此时想要先先写些数据，那么使用compact()方法。
compact()方法将所有未读的数据拷贝到Buffer起始处。
然后将position设到最后一个未读元素正后面。
limit属性依然像clear()方法一样，设置成capacity。
现在Buffer准备好写数据了，但是不会覆盖未读的数据。

mark()与reset()方法

通过调用Buffer.mark()方法，可以标记Buffer中的一个特定position。
之后可以通过调用Buffer.reset()方法恢复到这个position。

1
2
3

buffer.mark();
//call buffer.get() a couple of times, e.g. during parsing.
buffer.reset();  //set position back to mark.

equals()方法

当满足下列条件时，表示两个Buffer相等：

有相同的类型（byte、char、int等）。
Buffer中剩余的byte、char等的个数相等。
Buffer中所有剩余的byte、char等都相同。

如你所见，equals只是比较Buffer的一部分，不是每一个在它里面的元素都比较。实际上，它只比较Buffer中的剩余元素。

compareTo()方法

compareTo()方法比较两个Buffer的剩余元素(byte、char等)，如果满足下列条件，则认为一个Buffer”小于”另一个Buffer：

第一个不相等的元素小于另一个Buffer中对应的元素。
所有元素都相等，但第一个Buffer比另一个先耗尽(第一个Buffer的元素个数比另一个少)。

通道的数据传输

如果两个通道中有一个是FileChannel，那你可以直接将数据从一个channel传输到另外一个channel。
SocketChannel的问题在transferTo()方法中同样存在。SocketChannel会一直传输数据直到目标buffer被填满

transferFrom()方法

FileChannel的transferFrom()方法可以将数据从源通道传输到FileChannel中

RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw");
FileChannel      fromChannel = fromFile.getChannel();

RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw");
FileChannel      toChannel = toFile.getChannel();

long position = 0;
long count = fromChannel.size();

toChannel.transferFrom(position, count, fromChannel);

方法的输入参数position表示从position处开始向目标文件写入数据
count表示最多传输的字节数,如果源通道的剩余空间小于 count 个字节，则所传输的字节数要小于请求的字节数。

此外要注意，在SoketChannel的实现中，SocketChannel只会传输此刻准备好的数据（可能不足count字节）。
因此，SocketChannel可能不会将请求的所有数据(count个字节)全部传输到FileChannel中。

transferTo()方法

transferTo()方法将数据从FileChannel传输到其他的channel中。

RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw");
FileChannel      fromChannel = fromFile.getChannel();

RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw");
FileChannel      toChannel = toFile.getChannel();

long position = 0;
long count = fromChannel.size();

fromChannel.transferTo(position, count, toChannel);

Selector

Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为诸如读写事件做好准备的组件。
这样一个单独的线程可以管理多个channel，从而管理多个网络连接。

创建 Selector

调用Selector.open()方法创建一个Selector

1	Selector selector = Selector.open();

注册通道 Selector

为了将Channel和Selector配合使用，必须将channel注册到selector上。通过SelectableChannel.register()方法来实现

1 2	channel.configureBlocking(false); SelectionKey key = channel.register(selector,Selectionkey.OP_READ);

与Selector一起使用时，Channel必须处于非阻塞模式下。
这意味着不能将FileChannel与Selector一起使用，因为FileChannel不能切换到非阻塞模式。而套接字通道都可以。

注意register()方法的第二个参数。这是一个”interest集合”
意思是在通过Selector监听Channel时对什么事件感兴趣。可以监听四种不同类型的事件：

Connect : SelectionKey.OP_CONNECT
Accept : SelectionKey.OP_ACCEPT
Read : SelectionKey.OP_READ
Write : SelectionKey.OP_WRITE

如果你对不止一种事件感兴趣，那么可以用”位或”操作符将常量连接起来

1	int interestSet = SelectionKey.OP_READ \| SelectionKey.OP_WRITE;

SelectionKey

当向Selector注册Channel时,register()方法会返回一个SelectionKey对象。这个对象包含了一些你感兴趣的属性：

interest集合
interest集合是你所选择的感兴趣的事件集合

int interestSet = selectionKey.interestOps();
boolean isInterestedInAccept  = (interestSet & SelectionKey.OP_ACCEPT) == SelectionKey.OP_ACCEPT；
boolean isInterestedInConnect = interestSet & SelectionKey.OP_CONNECT;
boolean isInterestedInRead    = interestSet & SelectionKey.OP_READ;
boolean isInterestedInWrite   = interestSet & SelectionKey.OP_WRITE;

ready集合
ready 集合是通道已经准备就绪的操作的集合。在一次选择(Selection)之后，你会首先访问这个readySet

int readySet = selectionKey.readyOps();
selectionKey.isAcceptable();
selectionKey.isConnectable();
selectionKey.isReadable();
selectionKey.isWritable();

Channel

1	Channel channel = selectionKey.channel();

Selector

1	Selector selector = selectionKey.selector();

附加对象

1 2	selectionKey.attach(theObject); Object attachedObj = selectionKey.attachment();

选择通道 Selector

int select()
select()阻塞到至少有一个通道在你注册的事件上就绪了。
int select(long timeout)
select(long timeout)和select()一样，除了最长会阻塞timeout毫秒(参数)。
int selectNow()
selectNow()不会阻塞，不管什么通道就绪都立刻返回

select()方法返回的int值表示有多少通道已经就绪。
如果调用select()方法，因为有一个通道变成就绪状态，返回了1，若再次调用select()方法，如果另一个通道就绪了，它会再次返回1。
如果对第一个就绪的channel没有做任何操作，现在就有两个就绪的通道
但在每次select()方法调用之间，只有一个通道就绪了。

selectedKeys()

一旦调用了select()方法，并且返回值表明有一个或更多个通道就绪了
然后可以通过调用selector的selectedKeys()方法,访问”已选择键集(selected key set)”中的就绪通道。

1	Set selectedKeys = selector.selectedKeys();

当像Selector注册Channel时，Channel.register()方法会返回一个SelectionKey 对象。
这个对象代表了注册到该Selector的通道。
可以通过SelectionKey的selectedKeySet()方法访问这些对象。

//可以遍历这个已选择的键集合来访问就绪的通道
Set selectedKeys = selector.selectedKeys();
Iterator keyIterator = selectedKeys.iterator();
while(keyIterator.hasNext()) {
    SelectionKey key = keyIterator.next();
    if(key.isAcceptable()) {
        // a connection was accepted by a ServerSocketChannel.
    } else if (key.isConnectable()) {
        // a connection was established with a remote server.
    } else if (key.isReadable()) {
        // a channel is ready for reading
    } else if (key.isWritable()) {
        // a channel is ready for writing
    }
    keyIterator.remove();
}

这个循环遍历已选择键集中的每个键，并检测各个键所对应的通道的就绪事件。

注意每次迭代末尾的keyIterator.remove()调用。
Selector不会自己从已选择键集中移除SelectionKey实例。必须在处理完通道时自己移除。

下次该通道变成就绪时，Selector会再次将其放入已选择键集中。

SelectionKey.channel()方法返回的通道需要转型成你要处理的类型，如ServerSocketChannel或SocketChannel等。

其他方法

wakeUp()方法

某个线程调用select()方法后阻塞了，即使没有通道已经就绪，也有办法让其从select()方法返回。
只要让其它线程在第一个线程调用select()方法的那个对象上调用Selector.wakeup()方法即可。
阻塞在select()方法上的线程会立马返回。
如果有其它线程调用了wakeup()方法，但当前没有线程阻塞在select()方法上，下个调用select()方法的线程会立即”醒来(wake up)”。

close()方法

用完Selector后调用其close()方法会关闭该Selector，且使注册到该Selector上的所有SelectionKey实例无效。通道本身并不会关闭。

示例

打开一个Selector，注册一个通道注册到这个Selector上(通道的初始化过程略去)
然后持续监控这个Selector的四种事件（接受，连接，读，写）是否就绪。

Selector selector = Selector.open();
channel.configureBlocking(false);
SelectionKey key = channel.register(selector, SelectionKey.OP_READ);
while(true) {
  int readyChannels = selector.select();
  if(readyChannels == 0) continue;
  Set selectedKeys = selector.selectedKeys();
  Iterator keyIterator = selectedKeys.iterator();
  while(keyIterator.hasNext()) {
    SelectionKey key = keyIterator.next();
    if(key.isAcceptable()) {
        // a connection was accepted by a ServerSocketChannel.
    } else if (key.isConnectable()) {
        // a connection was established with a remote server.
    } else if (key.isReadable()) {
        // a channel is ready for reading
    } else if (key.isWritable()) {
        // a channel is ready for writing
    }
    keyIterator.remove();
  }
}

Pipe 管道

Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。

创建管道

通过Pipe.open()方法打开管道。

1	Pipe pipe = Pipe.open();

管道写数据

Pipe.SinkChannel sinkChannel = pipe.sink();

String newData = "New String to write to file..." + System.currentTimeMillis();
ByteBuffer buf = ByteBuffer.allocate(48);
buf.clear();
buf.put(newData.getBytes());

buf.flip();

while(buf.hasRemaining()) {
    sinkChannel.write(buf);
}

管道读取数据

Pipe.SourceChannel sourceChannel = pipe.source();

ByteBuffer buf = ByteBuffer.allocate(48);

int bytesRead = sourceChannel.read(buf);
//read()方法返回的int值会告诉我们多少字节被读进了缓冲区。

IO

NIO

Channel

通道重要实现

FileChannel

打开 FileChannel

读取 FileChannel

写入 FileChannel

关闭 FileChannel

SocketChannel

打开 SocketChannel

关闭 SocketChannel

读取 SocketChannel

写入 SocketChannel

非阻塞打开 SocketChannel

非阻塞读取 SocketChannel

非阻塞写入 SocketChannel

非阻塞模式与选择器

ServerSocketChannel

打开 ServerSocketChannel

关闭 ServerSocketChannel

监听连接

非阻塞模式 监听连接

DatagramChannel

打开 DatagramChannel

接收数据 DatagramChannel

发送数据 DatagramChannel

连接到特定的地址

Buffer

简介

capacity

position

limit

Buffer类型

Buffer 分配

Buffer 写数据

Buffer 读取数据

flip()方法

其他方法

rewind()方法

clear()方法

compact()方法

mark()与reset()方法

equals()方法

compareTo()方法

通道的数据传输

transferFrom()方法

transferTo()方法

Selector

创建 Selector

注册通道 Selector

SelectionKey

选择通道 Selector

selectedKeys()

其他方法

wakeUp()方法

close()方法

示例

Pipe 管道

创建管道

管道写数据

管道读取数据

非阻塞模式监听连接