系統程序員成長計劃-文本處理（三）
管道過濾器（Pipe-And-Filter）模式
按照《POSA(面向模式的軟件架構)》里的說法，管道過濾器（Pipe-And-Filter）應該屬于架構模式，因為它通常決定了一個系統的基
本架構。管道過濾器和生產流水線類似，在生產流水線上，原材料在流水線上經一道一道的工序，最后形成某種有用的產品。在管道過濾器中，數據經過一個一個的
過濾器，最后得到需要的數據。
o 基本的管道過濾器：
管道負責數據的傳遞，它把原始數據傳遞給第一個過濾器，把一個過濾器的輸出傳遞給下一個過濾器，作為下一個過濾器的輸入，重復這個過程直到處理結
束。要注意的是，管道只是對數據傳輸的抽象，它可能是管道，也可能是其它通信方式，甚至什么都沒有(所有過濾器都在原始數據基礎上進行處理)。
過濾器負責數據的處理，過濾器可以有多個，每個過濾器對數據做特定的處理，它們之間沒有依賴關系，一個過濾器不必知道其它過濾器的存在。這種松耦合
的設計，使得過濾器只需要實現單一的功能，從而降低了系統的復雜度，也使得過濾器之間依賴最小，從而以更加靈活的組合來實現新的功能。
編譯器就是基于管道過濾器模式設計的：
輸入：源程序
預處理：負責宏展開和去掉注釋等工作。
編譯：進行詞法分析、語法分析、語義分析、代碼優化和代碼產生。
匯編：負責把匯編代碼轉換成機器指令，生成目標文件。
鏈接：負責把多個目標文件、靜態庫和共享庫鏈接成可執行文件/共享庫。
輸出：可執行文件/共享庫。
o 復合過濾器
過濾器可以由多個其它過濾器組合起來的，比如上面的“編譯”過程可以認為是一個復合過濾器：
輸入：預處理之后的源代碼。
詞法分析：負責將源程序分解成一個一個的token，這些token是組成源程序的基本單元。
語法分析：把詞法分析得到的token解析成語法樹。
語義分析：對語法樹進行類型檢查等語義分析。
代碼優化：對語法樹進行重組和修改，以優化代碼的速度和大小。
代碼產生：根據語法樹產生匯編代碼。
輸出：匯編代碼。
o 支持多個輸入的過濾器
過濾器可以有多個輸入。比如上面“鏈接”，它接收多個輸入：
“鏈接”過濾器能接收多個數據源，如目標文件、靜態庫和共享庫。
o 具有多個輸出的過濾器
過濾器可以有多個輸出。如多媒體播放器的解碼過程：
輸入：AVI文件，包括音頻和視頻數據。
分離器：把音頻和視頻數據分離成兩個流，音頻數據傳遞給音頻解碼器，視頻數據傳遞給視頻解碼器。
音頻解碼器：把壓縮的音頻數據解碼成原始的音頻數據。
視頻解碼器：把壓縮的視頻數據解碼成原始的圖像數據。
輸出：音頻數據傳遞給聲卡，圖像數據傳遞給顯示器。
管道過濾器是最貼近程序員生活的模式，也是Unix-like系統的基本設計理念之一。作為Linux下的程序員，我們天天都使用這個模式。比如：
o刪除當前目錄及子目錄下的目標文件。
find -name \*.o|xargs rm –f
find是過濾器：它找出所有目標文件，它不需要關心查找文件的目的。
rm是過濾器：它刪除找到目標文件，rm不需要關心文件名是如何得來的。
o 查看某個進程的棧的大小
grep stack /proc/2976/maps|sed -e “s/-/ /”|awk ‘{print
strtonum(“0x”$2)-strtonum(“0x”$1)}’
/proc/2976/maps是進程2976內存映射表。內容可能如下：
00110000-00111000 r-xp 00110000 00:00 0 [vdso]
00111000-0011b000 r-xp 00000000 08:01 154857 /lib/libnss_files-2.8.so
0011b000-0011c000 r--p 0000a000 08:01 154857 /lib/libnss_files-2.8.so
0011c000-0011d000 rw-p 0000b000 08:01 154857 /lib/libnss_files-2.8.so
00907000-00923000 r-xp 00000000 08:01 157280 /lib/ld-2.8.so
00923000-00924000 r--p 0001c000 08:01 157280 /lib/ld-2.8.so
00924000-00925000 rw-p 0001d000 08:01 157280 /lib/ld-2.8.so
00927000-00a8a000 r-xp 00000000 08:01 157281 /lib/libc-2.8.so
00a8a000-00a8c000 r--p 00163000 08:01 157281 /lib/libc-2.8.so
00a8c000-00a8d000 rw-p 00165000 08:01 157281 /lib/libc-2.8.so
00a8d000-00a90000 rw-p 00a8d000 00:00 0
00abd000-00ac0000 r-xp 00000000 08:01 157284 /lib/libdl-2.8.so
00ac0000-00ac1000 r--p 00002000 08:01 157284 /lib/libdl-2.8.so
00ac1000-00ac2000 rw-p 00003000 08:01 157284 /lib/libdl-2.8.so
0383f000-03855000 r-xp 00000000 08:01 157307 /lib/libtinfo.so.5.6
03855000-03858000 rw-p 00015000 08:01 157307 /lib/libtinfo.so.5.6
08047000-080fa000 r-xp 00000000 08:01 1180910 /bin/bash
080fa000-080ff000 rw-p 000b3000 08:01 1180910 /bin/bash
080ff000-08104000 rw-p 080ff000 00:00 0
088bd000-088ff000 rw-p 088bd000 00:00 0 [heap]
b7bfb000-b7bfd000 rw-p b7bfb000 00:00 0
b7bfd000-b7c04000 r--s 00000000 08:01 237138 /usr/lib/gconv/gconv-modules.cache
b7c04000-b7d1e000 r--p 047d3000 08:01 237437 /usr/lib/locale/locale-archive
b7d1e000-b7d5e000 r--p 0236e000 08:01 237437 /usr/lib/locale/locale-archive
b7d5e000-b7f5e000 r--p 00000000 08:01 237437 /usr/lib/locale/locale-archive
b7f5e000-b7f60000 rw-p b7f5e000 00:00 0
bfe5e000-bfe73000 rw-p bffeb000 00:00 0 [stack]
grep是過濾器：它從文件/proc/2976/maps里找到下面這行數據。
bfe5e000-bfe73000 rw-p bffeb000 00:00 0 [stack]
sed是過濾器：它把‘-’替換成‘ ’，數據變成下面的內容。
bfe5e000 bfe73000 rw-p bffeb000 00:00 0 [stack]
awk是過濾器：它計算0xbfe73000和0x bfe5e000差值，并打印出來。
下面我們來看看，管道過濾器在程序里的實現方式。這里我們以TinyMail為例，TinyMail是一款針對移動設備定制的郵件客戶端軟件。它使
用camel-lite完成郵件內容解析和傳輸。Camel-lite對郵件內容的處理基本上基于管道過濾器模式的。
CamelMimeFilter是過濾器接口，所有過濾器都要實現它要求的接口函數：
struct _CamelMimeFilterClass {
CamelObjectClass parent_class;
void (*filter)(CamelMimeFilter *f,
char *in, size_t len, size_t prespace,
char **out, size_t *outlen, size_t *outprespace);
void (*complete)(CamelMimeFilter *f,
char *in, size_t len, size_t prespace,
char **out, size_t *outlen, size_t *outprespace);
void (*reset)(CamelMimeFilter *f);
};
CamelMimeFilterClass是從CamelObjectClass繼承過來的。這里的接口定義和我們前面所講的接口定義有些差別，但
原理上都是一樣，通過函數指針來抽象具體的功能。這里要求實現三個接口函數：
filter：過濾器的處理函數。
complete：過濾器的處理函數。與filter不同的是，調用complete之后不能調其它filter。
reset：重置當前filter的狀態。
Camel實現了很多Filter，其中CamelMimeFilterBasic實現了郵件基本的編碼和解析功能。它的filter函數實現如
下：
static void
filter(CamelMimeFilter *mf, char *in, size_t len, size_t prespace, char **out, size_t *outlen, size_t *outprespace)
{
CamelMimeFilterBasic *f = (CamelMimeFilterBasic *)mf;
size_t newlen;
switch(f->type) {
case CAMEL_MIME_FILTER_BASIC_BASE64_ENC:
/* wont go to more than 2x size (overly conservative) */
camel_mime_filter_set_size(mf, len*2+6, FALSE);
newlen = g_base64_encode_step((const guchar *) in, len, TRUE, mf->outbuf, &f->state, &f->save);
g_assert(newlen <= len*2+6);
break;
case CAMEL_MIME_FILTER_BASIC_QP_ENC:
/* *4 is overly conservative, but will do */
camel_mime_filter_set_size(mf, len*4+4, FALSE);
newlen = camel_quoted_encode_step((unsigned char *) in, len, (unsigned char *) mf->outbuf, &f->state, (gint *) &f->sa
ve);
g_assert(newlen <= len*4+4);
break;
case CAMEL_MIME_FILTER_BASIC_UU_ENC:
/* won't go to more than 2 * (x + 2) + 62 */
camel_mime_filter_set_size (mf, (len + 2) * 2 + 62, FALSE);
newlen = camel_uuencode_step ((unsigned char *) in, len, (unsigned char *) mf->outbuf, f->uubuf, &f->state, (guint32
*) &f->save);
g_assert (newlen <= (len + 2) * 2 + 62);
break;
case CAMEL_MIME_FILTER_BASIC_BASE64_DEC:
/* output can't possibly exceed the input size */
camel_mime_filter_set_size(mf, len+3, FALSE);
newlen = g_base64_decode_step(in, len, (guchar *) mf->outbuf, &f->state, (guint *) &f->save);
g_assert(newlen <= len+3);
break;
case CAMEL_MIME_FILTER_BASIC_QP_DEC:
/* output can't possibly exceed the input size */
camel_mime_filter_set_size(mf, len + 2, FALSE);
newlen = camel_quoted_decode_step((unsigned char *) in, len, (unsigned char *) mf->outbuf, &f->state, (gint *) &f->sa
ve);
g_assert(newlen <= len + 2);
break;
case CAMEL_MIME_FILTER_BASIC_UU_DEC:
if (!(f->state & CAMEL_UUDECODE_STATE_BEGIN)) {
register char *inptr, *inend;
size_t left;
inptr = in;
inend = inptr + len;
while (inptr < inend) {
left = inend - inptr;
if (left < 6) {
if (!strncmp (inptr, "begin ", left))
camel_mime_filter_backup (mf, inptr, left);
break;
} else if (!strncmp (inptr, "begin ", 6)) {
for (in = inptr; inptr < inend && *inptr != '\n'; inptr++);
if (inptr < inend) {
inptr++;
f->state |= CAMEL_UUDECODE_STATE_BEGIN;
/* we can start uudecoding... */
in = inptr;
len = inend - in;
} else {
camel_mime_filter_backup (mf, in, left);
}
break;
}
/* go to the next line */
for ( ; inptr < inend && *inptr != '\n'; inptr++);
if (inptr < inend)
inptr++;
}
}
if ((f->state & CAMEL_UUDECODE_STATE_BEGIN) && !(f->state & CAMEL_UUDECODE_STATE_END)) {
/* "begin <mode> <filename>\n" has been found, so we can now start decoding */
camel_mime_filter_set_size (mf, len + 3, FALSE);
newlen = camel_uudecode_step ((unsigned char *) in, len, (unsigned char *) mf->outbuf, &f->state, (guint32 *) &f-
>save);
} else {
newlen = 0;
}
break;
default:
g_warning ("unknown type %u in CamelMimeFilterBasic", f->type);
goto donothing;
}
*out = mf->outbuf;
*outlen = newlen;
*outprespace = mf->outpre;
return;
donothing:
*out = in;
*outlen = len;
*outprespace = prespace;
}
這個過濾器實現了下面三種編碼方式的編碼和解碼：
1. UU(Unix-to-Unix encoding)：
2. Base64
3. QP(Quote-Printable)
Camel還提供了其它一些過濾器，如：
CamelMimeFilterGZip：壓縮和解壓
CamelMimeFilterHTML：去掉HTML Tag。
CamelMimeFilterCRLF：使用\r\n作為換行符。
CamelMimeFilterToHTML：加上HTML Tag。
CamelMimeFilterCharset：字符集轉換。
所有的過濾器由CamelStreamFilter來組合，CamelStreamFilter提供了下面兩個函數：
增加過濾器：
int camel_stream_filter_add (CamelStreamFilter *stream, CamelMimeFilter
*filter);
移除過濾器：
void camel_stream_filter_remove (CamelStreamFilter *stream, int id);
CamelStreamFilter實現了CamelStream接口，這里應用了前面所講的裝飾模式，它不改變CamelStream的接口，但
給CamelStream加上了數據轉換功能。它的創建函數如下：
CamelStreamFilter *camel_stream_filter_new_with_stream
(CamelStream *stream);
傳入一個CamelStream對象，然后對這個對象進行裝飾。在讀寫數據時，調用相應的Filter，下面是寫函數的實現：
do_read (CamelStream *stream, char *buffer, size_t n)
{
CamelStreamFilter *filter = (CamelStreamFilter *)stream;
struct _CamelStreamFilterPrivate *p = _PRIVATE(filter);
ssize_t size;
struct _filter *f;
p->last_was_read = TRUE;
g_check(p->realbuffer);
if (p->filteredlen<=0) {
size_t presize = READ_PAD;
size = camel_stream_read(filter->source, p->buffer, READ_SIZE);
if (size <= 0) {
/* this is somewhat untested */
if (camel_stream_eos(filter->source)) {
f = p->filters;
p->filtered = p->buffer;
p->filteredlen = 0;
while (f) {
camel_mime_filter_complete(f->filter, p->filtered, p->filteredlen,
presize, &p->filtered, &p->filteredlen, &presize);
g_check(p->realbuffer);
f = f->next;
}
size = p->filteredlen;
p->flushed = TRUE;
}
if (size <= 0)
return size;
} else {
f = p->filters;
p->filtered = p->buffer;
p->filteredlen = size;
d(printf ("\n\nOriginal content (%s): '", ((CamelObject *)filter->source)->klass->name));
d(fwrite(p->filtered, sizeof(char), p->filteredlen, stdout));
d(printf("'\n"));
while (f) {
camel_mime_filter_filter(f->filter, p->filtered, p->filteredlen, presize,
&p->filtered, &p->filteredlen, &presize);
g_check(p->realbuffer);
d(printf ("Filtered content (%s): '", ((CamelObject *)f->filter)->klass->name));
d(fwrite(p->filtered, sizeof(char), p->filteredlen, stdout));
d(printf("'\n"));
f = f->next;
}
}
}
size = MIN(n, p->filteredlen);
memcpy(buffer, p->filtered, size);
p->filteredlen -= size;
p->filtered += size;
g_check(p->realbuffer);
return size;
}
這里先調用camel_stream_read讀取數據，然后依次調用fitler對數據進行處理，最后把數據返回給調用者。do_write的過
程類似，CamelStreamFilter對編碼和解碼都支持，而使用者不用關心。
管道過濾器模式應用相當廣泛，它不限于文本數據處理，任何以數據處理為中心的系統，都可以用管道過濾器模式作為基本架構。