1. 基本 概念
IO 是主存和外部設(shè)備 ( 硬盤、終端和網(wǎng)絡(luò)等 ) 拷貝數(shù)據(jù)的過程。 IO 是操作系統(tǒng)的底層功能實現(xiàn)，底層通過 I/O 指令進行完成。
所有語言運行時系統(tǒng)提供執(zhí)行 I/O 較高級別的工具。 (c 的 printf scanf,java 的面向?qū)ο蠓庋b )
2. Java 標準 io 回顧
Java 標準 IO 類庫是 io 面向?qū)ο蟮囊环N抽象。基于本地方法的底層實現(xiàn)，我們無須關(guān)注底層實現(xiàn)。 InputStream\OutputStream( 字節(jié)流 ) ：一次傳送一個字節(jié)。 Reader\Writer( 字符流 ) ：一次一個字符。
3. nio 簡介
nio 是 java New IO 的簡稱，在 jdk1.4 里提供的新 api 。 Sun 官方標榜的特性如下：
– 為所有的原始類型提供 (Buffer) 緩存支持。
– 字符集編碼解碼解決方案。
– Channel ：一個新的原始 I/O 抽象。
– 支持鎖和內(nèi)存映射文件的文件訪問接口。
– 提供多路 (non-bloking) 非阻塞式的高伸縮性網(wǎng)絡(luò) I/O 。
本文將圍繞這幾個特性進行學習和介紹。
4. Buffer&Chanel
Channel 和 buffer 是 NIO 是兩個最基本的數(shù)據(jù)類型抽象。
Buffer:
– 是一塊連續(xù)的內(nèi)存塊。
– 是 NIO 數(shù)據(jù)讀或?qū)懙闹修D(zhuǎn)地。
Channel:
– 數(shù)據(jù)的源頭或者數(shù)據(jù)的目的地
– 用于向 buffer 提供數(shù)據(jù)或者讀取 buffer 數(shù)據(jù) ,buffer 對象的唯一接口。
– 異步 I/O 支持
圖1：channel和buffer關(guān)系
例子 1:CopyFile.java:
Java代碼
- package sample;
-
- import java.io.FileInputStream;
- import java.io.FileOutputStream;
- import java.nio.ByteBuffer;
- import java.nio.channels.FileChannel;
-
- public class CopyFile {
- public static void main(String[] args) throws Exception {
- String infile = "C:\\copy.sql";
- String outfile = "C:\\copy.txt";
- // 獲取源文件和目標文件的輸入輸出流
- FileInputStream fin = new FileInputStream(infile);
- FileOutputStream fout = new FileOutputStream(outfile);
- // 獲取輸入輸出通道
- FileChannel fcin = fin.getChannel();
- FileChannel fcout = fout.getChannel();
- // 創(chuàng)建緩沖區(qū)
- ByteBuffer buffer = ByteBuffer.allocate(1024);
- while (true) {
- // clear方法重設(shè)緩沖區(qū)，使它可以接受讀入的數(shù)據(jù)
- buffer.clear();
- // 從輸入通道中將數(shù)據(jù)讀到緩沖區(qū)
- int r = fcin.read(buffer);
- // read方法返回讀取的字節(jié)數(shù)，可能為零，如果該通道已到達流的末尾，則返回-1
- if (r == -1) {
- break;
- }
- // flip方法讓緩沖區(qū)可以將新讀入的數(shù)據(jù)寫入另一個通道
- buffer.flip();
- // 從輸出通道中將數(shù)據(jù)寫入緩沖區(qū)
- fcout.write(buffer);
- }
- }
- }
其中 buffer 內(nèi)部結(jié)構(gòu)如下 ( 下圖拷貝自資料 ):
圖2：buffer內(nèi)部結(jié)構(gòu)
一個 buffer 主要由 position,limit,capacity 三個變量來控制讀寫的過程。此三個變量的含義見如下表格：
| 參數(shù) | 寫模式 | 讀模式 |
| position | 當前寫入的單位數(shù)據(jù)數(shù)量。 | 當前讀取的單位數(shù)據(jù)位置。 |
| limit | 代表最多能寫多少單位數(shù)據(jù)和容量是一樣的。 | 代表最多能讀多少單位數(shù)據(jù)，和之前寫入的單位數(shù)據(jù)量一致。 |
| capacity | buffer 容量 | buffer 容量 |
Buffer 常見方法：
flip(): 寫模式轉(zhuǎn)換成讀模式
rewind() ：將 position 重置為 0 ，一般用于重復(fù)讀。
clear() ：清空 buffer ，準備再次被寫入 (position 變成 0 ， limit 變成 capacity) 。
compact(): 將未讀取的數(shù)據(jù)拷貝到 buffer 的頭部位。
mark() 、 reset():mark 可以標記一個位置， reset 可以重置到該位置。
Buffer 常見類型： ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。
channel 常見類型 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)
在本機上面做了個簡單的性能測試。我的筆記本性能一般。 ( 具體代碼可以見附件。見 nio.sample.filecopy 包下面的例子 ) 以下是參考數(shù)據(jù)：
– 場景 1 ： Copy 一個 370M 的文件
– 場景 2: 三個線程同時拷貝，每個線程拷貝一個 370M 文件
| 場景 | FileInputStream+ FileOutputStream | FileInputStream+ BufferedInputStream+ FileOutputStream | ByteBuffer+ FileChannel | MappedByteBuffer +FileChannel |
| 場景一時間 ( 毫秒 ) | 25155 | 17500 | 19000 | 16500 |
| 場景二時間 ( 毫秒 ) | 69000 | 67031 | 74031 | 71016 |
5. nio.charset
字符編碼解碼 : 字節(jié)碼本身只是一些數(shù)字，放到正確的上下文中被正確被解析。向 ByteBuffer 中存放數(shù)據(jù)時需要考慮字符集的編碼方式，讀取展示 ByteBuffer 數(shù)據(jù)時涉及對字符集解碼。
Java.nio.charset 提供了編碼解碼一套解決方案。
以我們最常見的 http 請求為例，在請求的時候必須對請求進行正確的編碼。在得到響應(yīng)時必須對響應(yīng)進行正確的解碼。
以下代碼向 baidu 發(fā)一次請求，并獲取結(jié)果進行顯示。例子演示到了 charset 的使用。
例子 2BaiduReader.java
Java代碼
- package nio.readpage;
-
- import java.nio.ByteBuffer;
- import java.nio.channels.SocketChannel;
- import java.nio.charset.Charset;
- import java.net.InetSocketAddress;
- import java.io.IOException;
- public class BaiduReader {
- private Charset charset = Charset.forName("GBK");// 創(chuàng)建GBK字符集
- private SocketChannel channel;
- public void readHTMLContent() {
- try {
- InetSocketAddress socketAddress = new InetSocketAddress(
- "www.baidu.com", 80);
- //step1:打開連接
- channel = SocketChannel.open(socketAddress);
- //step2:發(fā)送請求，使用GBK編碼
- channel.write(charset.encode("GET " + "/ HTTP/1.1" + "\r\n\r\n"));
- //step3:讀取數(shù)據(jù)
- ByteBuffer buffer = ByteBuffer.allocate(1024);// 創(chuàng)建1024字節(jié)的緩沖
- while (channel.read(buffer) != -1) {
- buffer.flip();// flip方法在讀緩沖區(qū)字節(jié)操作之前調(diào)用。
- System.out.println(charset.decode(buffer));
- // 使用Charset.decode方法將字節(jié)轉(zhuǎn)換為字符串
- buffer.clear();// 清空緩沖
- }
- } catch (IOException e) {
- System.err.println(e.toString());
- } finally {
- if (channel != null) {
- try {
- channel.close();
- } catch (IOException e) {
- }
- }
- }
- }
- public static void main(String[] args) {
- new BaiduReader().readHTMLContent();
- }
- }
6. 非阻塞 IO
關(guān)于非阻塞 IO 將從何為阻塞、何為非阻塞、非阻塞原理和異步核心 API 幾個方面來理解。
何為阻塞？
一個常見的網(wǎng)絡(luò) IO 通訊流程如下 :
圖3：網(wǎng)絡(luò)通訊基本過程
從該網(wǎng)絡(luò)通訊過程來理解一下何為阻塞 :
在以上過程中若連接還沒到來，那么 accept 會阻塞 , 程序運行到這里不得不掛起， CPU 轉(zhuǎn)而執(zhí)行其他線程。
在以上過程中若數(shù)據(jù)還沒準備好， read 會一樣也會阻塞。
阻塞式網(wǎng)絡(luò) IO 的特點：多線程處理多個連接。每個線程擁有自己的棧空間并且占用一些 CPU 時間。每個線程遇到外部為準備好的時候，都會阻塞掉。阻塞的結(jié)果就是會帶來大量的進程上下文切換。且大部分進程上下文切換可能是無意義的。比如假設(shè)一個線程監(jiān)聽一個端口，一天只會有幾次請求進來，但是該 cpu 不得不為該線程不斷做上下文切換嘗試，大部分的切換以阻塞告終。
何為非阻塞？
下面有個隱喻：
一輛從 A 開往 B 的公共汽車上，路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車，對于需要下車的人，如何處理更好？
1. 司機過程中定時詢問每個乘客是否到達目的地，若有人說到了，那么司機停車，乘客下車。 ( 類似阻塞式 )
2. 每個人告訴售票員自己的目的地，然后睡覺，司機只和售票員交互，到了某個點由售票員通知乘客下車。 ( 類似非阻塞 )
很顯然，每個人要到達某個目的地可以認為是一個線程，司機可以認為是 CPU 。在阻塞式里面，每個線程需要不斷的輪詢，上下文切換，以達到找到目的地的結(jié)果。而在非阻塞方式里，每個乘客 ( 線程 ) 都在睡覺 ( 休眠 ) ，只在真正外部環(huán)境準備好了才喚醒，這樣的喚醒肯定不會阻塞。
非阻塞的原理
把整個過程切換成小的任務(wù)，通過任務(wù)間協(xié)作完成。
由一個專門的線程來處理所有的 IO 事件，并負責分發(fā)。
事件驅(qū)動機制：事件到的時候觸發(fā)，而不是同步的去監(jiān)視事件。
線程通訊：線程之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的進程切換。
以下是異步 IO 的結(jié)構(gòu)：
圖4：非阻塞基本原理
Reactor 就是上面隱喻的售票員角色。每個線程的處理流程大概都是讀取數(shù)據(jù)、解碼、計算處理、編碼、發(fā)送響應(yīng)。
異步 IO 核心 API
Selector
異步 IO 的核心類，它能檢測一個或多個通道 (channel) 上的事件，并將事件分發(fā)出去。
使用一個 select 線程就能監(jiān)聽多個通道上的事件，并基于事件驅(qū)動觸發(fā)相應(yīng)的響應(yīng)。而不需要為每個 channel 去分配一個線程。
SelectionKey
包含了事件的狀態(tài)信息和時間對應(yīng)的通道的綁定。
例子 1 單線程實現(xiàn)監(jiān)聽兩個端口。 ( 見 nio.asyn 包下面的例子。 )
例子 2 NIO 線程協(xié)作實現(xiàn)資源合理利用。 (wait,notify) 。 ( 見 nio.asyn.multithread 下的例子 )