<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    huangfox

    韜光隱晦
    隨筆 - 1, 文章 - 8, 評論 - 1, 引用 - 0
    數(shù)據(jù)加載中……

    避免lucene queryparser中文分詞的缺陷【轉(zhuǎn)】

    很多人在使用lucene時會使用其提供的queryparser分析query。不過,lucene的queryparser從一開始到現(xiàn)在都沒有充分考慮中文等語言的特點,使得查詢中文會出現(xiàn)讓人不可理解的查不到結(jié)果的情況。這個bug就是LUCENE-2458

    這 個問題簡單說來就是,對于一個連續(xù)的中文query,queryparser將Analyzer返回的Term序列構(gòu)成了PhraseQuery(也有可 能是MultiPhraseQuery),而PhraseQuery默認(rèn)的匹配規(guī)則是要求Term序列在索引的文檔中完全順序匹配。這對于英文查詢來說是 可以接受的,因為queryparser在分析query時,首先通過AND、OR、NOT將query進行切分(這可以理解為queryparser 的第一層分析,這樣切分后構(gòu)成的TOP Query就是BooleanQuery),然后將切分后的subquery交由Analyzer分析(當(dāng)然這要求是滿足FieldQuery的情況,否 則也可能是RangeQuery、WildcardQuery等),因為英文單詞之間以空格分割,相當(dāng)于OR查詢,所以英文中的subquery就可以理 解是個短語(比如由多個連字符連接的短語,或者是英文和數(shù)字接合的短語,在lucene查詢語法中,顯示的雙引號之間的內(nèi)容認(rèn)為是短語)。但對中文來說, 如果將subquery分析成PhraseQuery,就很成問題。比如subquery是”諾基亞N97“,如果構(gòu)成PhraseQuery,則要求索 引的文檔中必須存在”諾基亞N97“,如果”諾基亞“和”N97“中間有其他詞,就不算匹配。對于這個例子,是可以調(diào)整PhraseQuery的 slop參數(shù)來變相解決,但這種情況,使用AND BooleanQuery更合適,使用BooleanQuery在對文檔打分上也要比PhraseQuery好很多。而對于query分詞結(jié)果,也存在一 些TermQuery之間是OR的情況,使用PhraseQuery顯然也不合適。

    如LUCENE-2458提到,這個bug會在3.1和 4中被修復(fù),修復(fù)方法是,只有顯示通過雙引號括起來的subquery才生成 PhraseQuery,否則可以派生子類來自定義處理。就目前使用來說,如果你使用IK做Analyzer,那么它提供的IKQueryParser是 很好的替代方案,它構(gòu)造的就是由AND和OR聯(lián)合的BooleanQuery。但因為BooleanQuery沒有考慮各個Term在文檔中的位置關(guān)系, 一味的根據(jù)詞頻計算得分,檢索效果有時也不是很好。不知道大家是怎么處理的?我有想到去擴展它的Query和Scorer,不過看起來有些麻煩,暫且還沒 精力投入上去。

    posted on 2010-09-25 10:35 fox009 閱讀(743) 評論(1)  編輯  收藏 所屬分類: 搜索引擎技術(shù)

    評論

    # re: 避免lucene queryparser中文分詞的缺陷【轉(zhuǎn)】  回復(fù)  更多評論   

    ikqueryParser 就為這個問題進行了精心的考慮~
    2010-09-25 10:36 | fox009
    主站蜘蛛池模板: 国产91精品一区二区麻豆亚洲| 久久久久久久久久免免费精品 | 免费在线观看的黄色网址| 亚洲一区二区三区免费视频| 最近中文字幕高清免费中文字幕mv| 久久青青成人亚洲精品| 久久青草免费91线频观看不卡| 国产v亚洲v天堂无码网站| a在线视频免费观看| 亚洲Av永久无码精品三区在线| 国产婷婷成人久久Av免费高清| 亚洲国产精品lv| 丁香花免费完整高清观看| 中文字幕乱码亚洲无线三区 | 亚洲成AV人片一区二区| 国产精品免费观看调教网| 337p欧洲亚洲大胆艺术| 91手机看片国产永久免费| 亚洲天然素人无码专区| 在线免费观看韩国a视频| 人妻巨大乳hd免费看| 亚洲日韩精品A∨片无码| 一级毛片在线观看免费| 亚洲av无码国产综合专区| 国产又黄又爽又猛的免费视频播放 | 亚洲日韩中文字幕日韩在线| 91国内免费在线视频| 亚洲午夜久久影院| 成年女人视频网站免费m| 免费国产污网站在线观看不要卡| 亚洲精品一品区二品区三品区| 99爱免费观看视频在线| 亚洲熟妇自偷自拍另欧美| 亚洲一级片内射网站在线观看| 久久久久久久岛国免费播放| 日韩亚洲国产高清免费视频| 亚洲一区二区高清| 久久午夜免费视频| AAAAA级少妇高潮大片免费看| 亚洲性无码av在线| 亚洲国产午夜中文字幕精品黄网站|