中文全文檢索的實(shí)現(xiàn)以及一些經(jīng)驗(yàn)(Java)
最近在項(xiàng)目中面臨中文全文檢索的需求，關(guān)鍵需求如下：
1 支持中文、英文字詞的全文檢索，待檢索文本是古文言文。
2 全文檢索表達(dá)式支持： AND,OR,NOT,NEAR,BEFORE 運(yùn)算符，支持()。
3 速度要求：400M文本，要求在2-5秒內(nèi)能夠檢索完畢。
嘗試Lucene以及放棄原因：
在嘗試Lucene和不同的中文Analyzer后，終告放棄。
原因如下：
由于待檢索文本是古文，中文分詞技術(shù)無(wú)法派上用場(chǎng)。在將分隔存儲(chǔ)每個(gè)漢字后，發(fā)現(xiàn)從Lucene中檢索到的文本遠(yuǎn)遠(yuǎn)少于關(guān)鍵字實(shí)際匹配的文本，這一問題對(duì)于較長(zhǎng)的檢索關(guān)鍵字尤其明顯。
因?yàn)閷?duì)于檢索準(zhǔn)確程度要求很高，故此放棄，但是Lucene出的這個(gè)問題的原因尚不清楚，希望能夠有人提出解答。
自行實(shí)現(xiàn)中文全文檢索原理以及方法：
1 構(gòu)建過程，忽略標(biāo)點(diǎn)符號(hào)，自行計(jì)算每個(gè)漢字在每個(gè)文本文件中的偏移量，并保存。
2 檢索過程，定位每個(gè)漢字的偏移量，如果檢索表達(dá)式中每個(gè)漢字的預(yù)期偏移量與實(shí)際偏移量吻合，則匹配成功。
3 采用 MappedByteBuffer 加快檢索速度，采用二分查找加快偏移量匹配速度，3個(gè)左右的關(guān)鍵字復(fù)合檢索能夠在1秒內(nèi)完成匹配（要求操作系統(tǒng)有足夠大的緩存）。
目前實(shí)現(xiàn)的一些局限和優(yōu)勢(shì)：
0 中文檢索速度足夠，準(zhǔn)確度比Lucene高（如果有高手能夠解決這個(gè)問題，我會(huì)很高興的廢棄掉這些類的）
1 合適于中文，不適用英文文本
2 全文檢索索引文件與原始文本文件的大小大約為2:3-3:4之間，300M大小，比Lucene大約多30M。
3 索引文件的構(gòu)建時(shí)間長(zhǎng)，400M大約需要3小時(shí)，同時(shí)由于如果任何文本文件更新，都需要重新構(gòu)建索引文件，
因此不合適要經(jīng)常變化的文本索引。
全文檢索代碼示例(TestFullTextQuery.java)：
File storeDir = new File("C:\\temp\\fulltext\\index");
StoreSearcher searcher = new StoreSearcher(storeDir);
String str = "大?藏 & 阿難"; //同時(shí)出現(xiàn) "大?藏" 和 "阿難"， ?代表任意字符
searcher.queryBegin(str, true);
while(true){
StoreSearcherResult ssr = searcher.getNextQueryResult();
if ( ssr == null ){
break;
}
System.out.println("ID "+ssr.docId+":"+ssr.matchedCount);
}
searcher.queryEnd();
searcher.close();
運(yùn)行結(jié)果
ID T01n0001.TXT:320
ID T01n0002.TXT:3
ID T01n0004.TXT:2
ID T01n0005.TXT:202
ID T01n0006.TXT:131
....
附：全文檢索表達(dá)式舉例
關(guān)鍵字中間可以出現(xiàn)?，表明匹配任意字符。
運(yùn)算符名稱：運(yùn)算符字符
AND:&
OR:,
BEFORE:*
NEAR:+
NOT:-
表達(dá)式舉例：
(KEY1 <AND|OR|BEFORE|NEAR> KEY2) & (NOT KEY3)
KEY1 KEY2 (關(guān)鍵字之間無(wú)運(yùn)算符假設(shè)為AND)
附：全文檢索文件格式信息
DocInfoStore(文檔信息)
--HEAD--
DocCount:Integer 文檔數(shù)目
--DOC HEAD(PER DOC)--
DocSeq: Integer 文檔順序號(hào)，內(nèi)部使用
DocId: Char[128] 文檔唯一ID，字符串格式
DocSepOfs: Integer 文檔分隔符數(shù)組的Ofs
--DOC SEP OFS(PER DOC)--
DocOfs: ArrayOfInteger 文檔分隔數(shù)組
WordInfoStore(每個(gè)漢字信息)
--HEAD--
WordCount:Integer 漢字?jǐn)?shù)
--WORD IDX(Per Word)--
WordChar:Integer 漢字的Unicode值
WordInfoOfs:Integer 漢字信息在文件中的偏移量
WordInfoSize:Integer 漢字信息大小
--WORD INFO(Per Word)--
DocCount: 漢字出現(xiàn)的文檔數(shù)
DocSeq(Per Doc): 每個(gè)文檔的順序號(hào)
WordInDocs:ArrayOfInteger 每個(gè)文檔中出現(xiàn)的漢字的偏移數(shù)組，從小到大排列
源文件及CLASS下載地址：
http://m.tkk7.com/Files/zhugf000/foreader2_ftsearch.zip