Linux管道學(xué)習
知識點：
1. 管道左右的命令是并行執(zhí)行的，而且是從右向左執(zhí)行的，因此就需要在執(zhí)行命令之前先對標準輸出流及錯誤流等各種流進行分析，分析清楚了之后，也就相當于已經(jīng)制定好了計劃（打個比方，就相當于排水管道全部已經(jīng)鋪設(shè)完成，只等著各種水流來流動），然后并行啟動程序，這里還要強調(diào)的是，這里的并行指的是“有依賴關(guān)系的并行”，反正大家不要理解成“必須前一條命令執(zhí)行完畢，出來結(jié)果之后才能送給后續(xù)的命令接著處理”就可以了。
2. 基本的FD只有3個，即0、1、2，其他的需要手動開啟，開啟的方法是：exec [3到255之間的數(shù)]>&[0到2之間的數(shù)]；關(guān)閉的方法是：exec num>&-。
3. 還要很清楚子shell的概念，除了bash內(nèi)建的那些指令之外，其他的指令都相當于先fork再exec，也就是用子shell來執(zhí)行的，還有shell及其他各種腳本也都是在子shell中執(zhí)行的（詳情請參考《shell編程之shell問答錄》）。子shell會繼承父shell中已經(jīng)打開的FD，注意子shell只會知道父shell中開啟了哪些FD，但并不會知道父shell中的各個FD是怎樣的一個關(guān)系，例如究竟是2>&1了呢，還是1>&2了呢，這些信息子shell都是不會知道的。
4. 查看當前打開了哪些FD，有兩種方法：ls /proc/$$/fd或者lsof -p $$（觀察最后幾行即可）
5. 任何一個FD都是指向屏幕的（用ls -l /proc/$$/fd便可以看出它們指向的是同一個設(shè)備文件），至于誰是輸入誰是輸出，是由<和>決定的，和0、1、2沒有關(guān)系
6. 管道|只接受標準輸出流；屏幕回顯使用得是標準錯誤流；s=$(ls no)這種命令也是利用標準輸出流；而一條命令的正常輸出是從FD1出來，而錯誤輸出是從FD2出來；只不過剛開始時FD1恰好與標準輸出流對接，而FD2恰好與標準錯誤流對接。
7. 任何一條外部命令都需要建立一個子shell，例如ls yes 1>&2;ls no 2>&1;這兩條命令之間沒有任何聯(lián)系，它們運行時各自建立的子shell的PID肯定是不同的。
8. 可以把若干條語句放到()中組成一個nested sub-shell（內(nèi)嵌的子shell），這樣就會使得()中的語句執(zhí)行后的各個流匯總到一起集中處理了，例如(ls yes; ls no) 2>&1，最后的2>&對()里面的兩條語句相當于都是有效力的
9. 在<或者>的左側(cè)寫FD號，在右側(cè)寫&加FD號，但需要強調(diào)一點是，對于左側(cè)不寫FD號的情況，>默認左側(cè)寫了1，而<默認左側(cè)寫了0
下面就來將一些例子，可以參考《I/O重定向詳解及應(yīng)用實例》。
首先來說一下我自己理解的有關(guān)FD的模型，只有在一條命令里（也就是同一個shell里）才可能有流的各種定向問題，例如exec 2>&3;ls 2>&1;cat file 1>&3;這幾條語句之間沒有任何關(guān)系；而ls no 2>&1 1>&3 3>&2就有關(guān)系了，最終導(dǎo)致FD2和FD3均指向了標準輸出口，而FD1指向了3口（這里我將各個口依次命名為：標準輸入口，標準輸出口，錯誤輸出口，3口，4口，5口等等）。說的通俗一點，就是大家頭腦中一定要有一個各類水管（FD1、FD2、FD3等等）與各個口對接的模型，只有理解了這一點才能得心應(yīng)手的玩弄各個流于股掌之間。此外，2>&1的意思是各個口是永遠不變的，也就是它們固定，這種操作能影響的僅僅是FD指向誰的問題，含義就是FD2指向FD1所指的那個口，各個FD在沒有亂指之前都指向自己對應(yīng)的口。
下面就一些例子來分析一下：
exec 3>&1;exec 4>&1;((ls yes no 2>&1 1>&3 3>&-;echo 'bacoo' >&4) 3>&1 |egrep \* >file) 4>&1 | grep ba;echo $?;cat file;exec 3>&-;exec 4>&-;
運行結(jié)果:
bacoo
0
ls: 無法訪問no: 沒有該文件或目錄
yes
打開FD3和FD4；FD2指向1口，F(xiàn)D1指向3口，F(xiàn)D3關(guān)閉；向4口輸出bacoo，從這個括號里流出來三股流（ls的輸出流，ls的錯誤流，echo的輸出流），由于該三股流還不能直接和硬件打交道，還得受制于外界對它們的影響，因此這里就不再表現(xiàn)為三股流從哪個口出來，取而代之的是表現(xiàn)為用FD幾輸出什么東西，對這三股流的統(tǒng)一操作是讓其FD3指向1口，這下才徹底定下來了那三股流最后從哪個口出來。
exec 6<> file;
以輸入輸出方式打開文件file，而且是通過6號通道。
echo "hello" >&6;
echo "world!" >&6;
read -u 6 x;echo $x;#不過這里讀不出東西來，因為當前文件指針是在file即將要寫入數(shù)據(jù)的地方，也就是在world!行的下一行，因此讀出的是空白，加入file已經(jīng)有了內(nèi)容，第一行是aaa，第二行是bbb，那么你再exec 6<> file; read -u 6 x;echo &x;應(yīng)該可以顯示出aaa。
ls 2>&1 1>&3 2>&1;這句話導(dǎo)致FD2指向了標準輸出口（FD1在還沒有亂指之前所指的地方）；FD1指向了3口（FD3在還沒有亂指之前所指的地方）；FD2指向了3口（FD1現(xiàn)在所指的地方）。
大家清楚了>的真正含義之后，再加上我上述所列出的一些注意事項，自己再研究研究《I/O重定向詳解及應(yīng)用實例》中的例子，我想就應(yīng)該可以理解FD的奧秘了。
現(xiàn)在附上《I/O重定向詳解及應(yīng)用實例》的內(nèi)容如下：
I/O重定向詳解及應(yīng)用實例
1、 基本概念（這是理解后面的知識的前提，請務(wù)必理解）
a、 I/O重定向通常與 FD有關(guān)，shell的FD通常為10個，即 0～9；
b、 常用FD有3個，為0（stdin，標準輸入）、1（stdout，標準輸出）、2（stderr，標準錯誤輸出），默認與keyboard、monitor、monitor有關(guān)；
c、 用 < 來改變讀進的數(shù)據(jù)信道(stdin)，使之從指定的檔案讀進；
d、 用 > 來改變送出的數(shù)據(jù)信道(stdout, stderr)，使之輸出到指定的檔案；
e、 0 是 < 的默認值，因此 < 與 0<是一樣的；同理，> 與 1> 是一樣的；
f、 在IO重定向 中，stdout 與 stderr 的管道會先準備好，才會從 stdin 讀進資料；
g、 管道“|”(pipe line):上一個命令的 stdout 接到下一個命令的 stdin;
h、 tee 命令是在不影響原本 I/O 的情況下，將 stdout 復(fù)制一份到檔案去;
i、 bash（ksh）執(zhí)行命令的過程：分析命令－變量求值－命令替代（``和$( )）－重定向－通配符展開－確定路徑－執(zhí)行命令；
j、 ( ) 將 command group 置于 sub-shell 去執(zhí)行，也稱 nested sub-shell，它有一點非常重要的特性是：繼承父shell的Standard input, output, and error plus any other open file descriptors。
k、 exec 命令：常用來替代當前 shell 并重新啟動一個 shell，換句話說，并沒有啟動子 shell。使用這一命令時任何現(xiàn)有環(huán)境都將會被清除。exec 在對文件描述符進行操作的時候，也只有在這時，exec 不會覆蓋你當前的 shell 環(huán)境。
2、 基本IO
cmd > file 把 stdout 重定向到 file 文件中；
cmd >> file 把 stdout 重定向到 file 文件中(追加)；
cmd 1> fiel 把 stdout 重定向到 file 文件中；
cmd > file 2>&1 把 stdout 和 stderr 一起重定向到 file 文件中；
cmd 2> file 把 stderr 重定向到 file 文件中；
cmd 2>> file 把 stderr 重定向到 file 文件中(追加)；
cmd >> file 2>&1 把 stderr 和 stderr 一起重定向到 file 文件中(追加)；
cmd < file >file2 cmd 命令以 file 文件作為 stdin，以 file2 文件作為 stdout；
cat <>file 以讀寫的方式打開 file；
cmd < file cmd 命令以 file 文件作為 stdin；
cmd << delimiter Here document，從 stdin 中讀入，直至遇到 delimiter 分界符。
3、 進階IO
>&n 使用系統(tǒng)調(diào)用 dup (2) 復(fù)制文件描述符 n 并把結(jié)果用作標準輸出；
<&n 標準輸入復(fù)制自文件描述符 n；
<&- 關(guān)閉標準輸入（鍵盤）；
>&- 關(guān)閉標準輸出；
n<&- 表示將 n 號輸入關(guān)閉；
n>&- 表示將 n 號輸出關(guān)閉；
上述所有形式都可以前導(dǎo)一個數(shù)字，此時建立的文件描述符由這個數(shù)字指定而不是缺省的 0 或 1。如：
... 2>file 運行一個命令并把錯誤輸出(文件描述符 2)定向到 file。
... 2>&1 運行一個命令并把它的標準輸出和輸出合并。(嚴格的說是通過復(fù)制文件描述符 1 來建立文件描述符 2 ，但效果通常是合并了兩個流。)
我 們對 2>&1詳細說明一下 ：2>&1 也就是 FD2＝FD1 ，這里并不是說FD2 的值 等于FD1的值，因為 > 是改變送出的數(shù)據(jù)信道，也就是說把 FD2 的 “數(shù)據(jù)輸出通道” 改為 FD1 的 “數(shù)據(jù)輸出通道”。如果僅僅這樣，這個改變好像沒有什么作用，因為 FD2 的默認輸出和 FD1的默認輸出本來都是 monitor，一樣的！ 但是，當 FD1 是其他文件，甚至是其他 FD 時，這個就具有特殊的用途了。請大家務(wù)必理解這一點。
exec 0exec 1>outfilename # 打開文件outfilename作為stdout。
exec 2>errfilename # 打開文件 errfilename作為 stderr。
exec 0<&- # 關(guān)閉 FD0。
exec 1>&- # 關(guān)閉 FD1。
exec 5>&- # 關(guān)閉 FD5。
問： 如果關(guān)閉了 FD0、FD1、FD2，其后果是什么？ 恢復(fù) FD0、FD1、FD2與 關(guān)閉FD0、FD1、FD2 有什么區(qū)別？代碼分別是什么？ 打開了FD3～FD9，我們用完之后，你覺得是將他們關(guān)閉還是恢復(fù)？
下面是提示（例子來源于CU一帖子，忘記出處，來日再補上）：
exec 6>&2 2>ver command >>dev/null & exec 2>&6 # 恢復(fù) FD2
4、 簡單舉例
a、stdout和stderr都通過管道送給egrep了：
(ls you no 2>&1;ls yes 2>&1) 2>&1|egrep \* >file (ls you no 2>&1;ls yes 2>&1)|egrep \* >file (ls you no;ls yes) 2>&1|egrep \* >file
這個例子要注意的就是：
理 解 命令執(zhí)行順序 和 管道“|”：在命令執(zhí)行前，先要進行重定向的處理，并將把 nested sub-shell 的stdout 接到 egrep 命令的 stdin。 nested sub-shell ，在 ( ) 中的兩個命令加上（），可以看作一個命令。其 FD1 已經(jīng)連接到“|”往egrep送了，當遇到 2>&1時，也就是FD2＝FD1，即FD2同F(xiàn)D1一樣，往管道 “|”那邊送。
b、 沒有任何東西通過管道送給egrep，全部送往monitor。 (ls you no 2>&1;ls yes 2>&1) >&2|egrep \* >file。雖然在（）里面將 FD2轉(zhuǎn)往FD1，但在（）外，遇到 >&2 ，結(jié)果所有的都送到monitor。 請理解：
(ls you no 2>&1) 1>&2|egrep \* >file ## 送到 monitor ls you no 2>&1 1>&2|egrep \* >file ## 送給 管道 “|” ls you no 1>&2 2>&1|egrep \* >file ## 送到 monitor
5、 中階例子
條件： stderr通過管道送給egrep，正確消息仍然送給monitor（不變）
exec 4>&1;(ls you no 2>&1 1>&4 4>&-;ls yes 2>&1 1>&4 4>&-)|egrep \* >file;exec 4>&- 或者 exec 4>&1;(ls you no;ls yes) 2>&1 1>&4 4>&-|egrep \* >file;exec 4>&-
如果加兩個條件：
（1）要求cmd1和cmd2并行運行；
（2）將cmd1的返回值賦給變量 ss。
則為：
exec 3>&1;exec 4>&1 ss=$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1) exec 3>&-;exec 4>&-
說明：
exec 3>&1;4>&1 建立FD3，是用來將下面ls那條語句（子shell）中的FD1 恢復(fù)到正常FD1，即輸出到monitor，你可以把FD3看作最初始的FD1的硬盤備份（即輸出到monitor）；建立FD4，到時用作保存ls的返 回值（echo $?），你可以將FD4看作你考試時用于存放計算“echo $?”的草稿紙；
(ls you no 2>&1 1>&3 3>&-;echo $? >&4) 大家還記得前面說的子shell和管道吧。這條命令首先會繼承FD0、FD1、FD2、FD3、FD4，它位于管道前，所以在運行命令前會先把子 shell自己的FD1和管道“|”相連。但是我們的條件是stderr通過管道送往egrep，stdout仍然輸出到monitor。 于是通過2>&1，先把 子shell的FD1 的管道“送給”FD2，于是子shell中的stderr送往管道“|”；再通過 1>&3，把以前的“硬盤備份”恢復(fù)給子shell的FD1，于是子shell中的FD1變成送到monitor了。再通過3> &- ，將3關(guān)閉；接著運行echo $? ，本來其輸出值應(yīng)該送往管道的，通過 >&4 ，將 輸出 送往 “草稿紙”FD4，留以備用。
((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 于是，stderr 通過管道送給 egrep ，stdout 送給monitor，但是，還有 FD4，它送到哪去了？ $(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1)最后的 4>&1 ，就是把FD4 重定向到 FD1。但由于其輸出在 $( )中，其值就賦給變量ss了。最后一行關(guān)閉 FD3、FD4。
6、 高階例子
命令 cmd1, cmd2, cmd3, cmd4. 如何利用單向管道完成下列功能：
1. 所有命令并行執(zhí)行。
2. cmd1 和 cmd2 不需要 stdin。
3. cmd1 和 cmd2 的 stdout 定向到 cmd3 的 stdin。
4. cmd1 和 cmd2 的 stderr 定向到 cmd4 的 stdin。
5. cmd3 的 stdout 定向到文件 a, stderr 定向到屏幕。
6. cmd4 的 stdout 定向到文件 b, stderr 定向到屏幕。
7. cmd1 的返回碼賦給變量 s。
8. 不能利用臨時文件。
解決方法：
exec 3>&1; exec 4>&1 s=$(((((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 | cmd4 >b ) 4>&1) exec 3>&-; exec 4>&-
這 個我一步步解釋（好復(fù)雜，自己感覺看明白了，過一會再看，大腦仍然有幾分鐘空白～～～，沒想到我也能看明白。exec 3>&1; exec 4>&1 前面的例子都有說明了，就是建立FD3 ，給cmd1恢復(fù)其FD1用和給cmd3 恢復(fù)其FD2用，建立FD4，保存“echo $?”輸出值的“草稿紙”。
第 一對括號：(cmd1 1>&3 ; echo $? >&4 ) 和其后（第一個）管道。在第一個括號（子shell）中，其FD1已經(jīng)連到 管道中了，所以用 FD3 將 FD1恢復(fù)正常，不讓他往管道跑；這里的cmd1沒有stdin，接著將 cmd1 運行的返回碼 保存到 FD4 中。
第 二對括號：((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 和其后（第二個）管道。前面的 FD1 已經(jīng)不送給 cmd2了，F(xiàn)D2 默認也不送過來，所以cmd2 也沒有stdin ，所以在第二對括號里面：cmd1和cmd2 的stdout、stderr 為默認輸出，一直遇到 “3>&1”為止。請注意：“3>&1”，先將第二對括號看出一個命令，他們遇到 第二個管道時，其FD1 連到 管道 “|”，由于“3>&1”的作用，子shell的FD1 送給FD3 使用，所以所有FD3 的輸出都 “流往”cmd3，又由于繼承關(guān)系（繼承第一行的命令），F(xiàn)D3實際上就是cmd1和cmd2的stdout，于是“ cmd1 和 cmd2 的 stdout 定向到 cmd3 的 stdin”
第 三對括號：(((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 和其后的第三個管道。cmd1 和 cmd2 的 stdout 已經(jīng)定向到 cmd3 的 stdin，處理之后，cmd3 >a 意味著將其 stdout 送給 a 文件。而2>&3的意思是：恢復(fù)cmd3的錯誤輸出為FD3，即送往 monitor。于是“cmd3 的 stdout 定向到文件 a, stderr 定向到屏幕”。如果沒有“2>&3”，那么cmd3的錯誤輸出就會干擾cmd1和cmd2的錯誤輸出，所以它是必須的！請注意第三對括號后 的 “2>&1”| ，其子shell的FD1 本來連接著管道“|”，但子shell FD1 慷慨大方，送給了 FD2，于是FD2 連接著管道。還記得前面的 cmd1 和 cmd2 嗎？他們的stderr一直沒動了。于是在這里，通過管道送給了 第四個命令cmd4 了。即“cmd1 和 cmd2 的 stderr 定向到 cmd4 的 stdin”。后面就比較簡單了。cmd4 >b 表示“cmd4 的 stdout 定向到文件 b, stderr 定向到屏幕（默認）”
第 四對括號：((((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 | cmd4 >b ) 與其后的 4>&1。四對括號里面的 FD1、FD2都處理完了。但是還記得前面“echo $? >&4”那塊“草稿紙”嗎？“4>&1”的作用就是“將草稿紙上的內(nèi)容送給monitor”，但是由于最外面還有 $() 將其“包著”。于是其值賦給變量“s”。