在搜索引擎中，切詞語是一個重要的部分，其中包括專有名詞的提取、詞的分割、詞的格式化等等。
TokenStream 類幾乎是所有這些類的基類
有兩個需要被子類實現的方法Token next() 和 close()
首先來看analysis包，這個包主要是提供一些簡單的詞匯化處理
以Tokenizer結尾的類是將要處理的字符串進行分割成Token流，而根據分割的依據的又產生了以下幾個Tokenizer類
首先Tokenizer類是所有以Tokenizer結尾的類的基類
然后是CharTokenizer，所有的以Tokenizer結尾的類都是從這個類繼承的
這個類中有一個抽象方法
protected abstract boolean isTokenChar(char c);
另外一個需要被子類覆寫的方法
protected char normalize(char c) {}；
是對單個字符進行處理的方法譬如說將英文字母全部轉化為小寫
還有一個變量
protected Reader input;
這個讀取器是這些類所處理的數據的 數據源
輸入一個Reader ，產生一個Token流
這個方法是是否進行切分的依據，依次讀取char流，然后用這個方法對每個char進行檢測，如果返回false則將預先存儲在
詞匯緩沖區中的char數組作為一個Token返回
LetterTokenizer ：
protected boolean isTokenChar(char c) {
return Character.isLetter(c);
}
WhitespaceTokenizer：
protected boolean isTokenChar(char c) {
return !Character.isWhitespace(c);
}
LowerCaseTokenizer extends LetterTokenizer：
protected char normalize(char c) {
return Character.toLowerCase(c);
}
在構造函數中調用super(in);進行和 LetterTokenizer同樣的操作，但是在詞匯化之前所有的詞都轉化為小寫了
然后是以Filter結尾的類，這個類簇主要是對已經詞匯化的Token流進行進一步的處理
輸入是Token流 , 輸出仍然是Token流。
TokenFilter extends TokenStream 是所有這些類的父類
protected TokenStream input;
在TokenFilter 中有一個TokenStream 變量，是Filter類簇處理的數據源，而Filter類簇又是繼承了TokenStream 類的
有一個public final Token next()方法,這個方法以TokenStream.next()產生的Token流 為處理源，產生的仍然是Token流
只不過中間有一些處理的過程
LowerCaseFilter：將所有的Token流的轉化為小寫
t.termText = t.termText.toLowerCase();
StopFilter：過濾掉一些停止詞，這些停止詞由構造函數指定
for (Token token = input.next(); token != null; token = input.next())
if (!stopWords.contains(token.termText))
return token;
比較一下Tokenizer類簇和Filter類簇，可以知道
Tokenizer類簇主要是對輸入的Reader流，實際上是字符流按照一定的規則進行分割，產生出Token流
其輸入是字符串的Reader流形式，輸出是Token流
Filter類簇主要是對輸入的Token流進行更進一步的處理，如去除停止詞，轉化為小寫
主要為一些格式化操作。
由于Filter類簇的輸入輸出相同，所以可以嵌套幾個不同的Filter類，以達到預期的處理目的。
前一個Filter類的輸出作為后一個Filter類的輸入
而Tokenizer類簇由于輸入輸出不同，所以不能嵌套