<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    使用solr搭建你的全文檢索zz(ronghao)

    Posted on 2007-11-07 16:44 yukui 閱讀(163) 評論(0)  編輯  收藏
    Solr 是一個可供企業(yè)使用的、基于 Lucene 的開箱即用的搜索服務(wù)器。對Lucene不熟?那么建議先看看下面兩篇文檔:

    實戰(zhàn)Lucene,第 1 部分: 初識 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/

    Lucene加速Web搜索應(yīng)用程序的開發(fā):http://www.ibm.com/developerworks/cn/web/wa-lucene2/

    一、 solr介紹

    solr是基于Lucene Java搜索庫的企業(yè)級全文搜索引擎,目前是apache的一個項目。它的官方網(wǎng)址在http://lucene.apache.org/solr/ 。solr需要運行在一個servlet 容器里,例如tomcat5.5。solrlucene的上層提供了一個基于HTTP/XMLWeb Services,我們的應(yīng)用需要通過這個服務(wù)與solr進(jìn)行交互。

    二、 solr安裝和配置

    關(guān)于solr的安裝和配置,這里也有兩篇非常好的文檔,作者同時也 Lucene Java 項目的提交人和發(fā)言人:

    使用Apache Solr實現(xiàn)更加靈巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html

    http://www.ibm.com/developerworks/cn/java/j-solr2/index.html

    下面主要說說需要注意的地方。

    Solr的安裝非常簡單,下載solrzip包后解壓縮將dist目錄下的war文件改名為solr.war直接復(fù)制到tomcat5.5webapps目錄即可。注意一定要設(shè)置solr的主位置。有三種方法。我采用的是在tomcat里配置java:comp/env/solr/home的一個JNDI指向solr的主目錄(example目錄下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。


    <Context docBase="D:/solr.war" debug="0" crossContext="true" >

       
    <Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />

    </Context>

         觀察這個指定的solr主位置,里面存在兩個文件夾:conf和data。其中conf里存放了對solr而言最為重要的兩個配置文件schema.xml和solrconfig.xml。data則用于存放索引文件。

         schema.xml主要包括typesfields和其他的一些缺省設(shè)置。

    solrconfig.xml用來配置Solr的一些系統(tǒng)屬性,例如與索引和查詢處理有關(guān)的一些常見的配置選項,以及緩存、擴展等等。

    上面的文檔對這兩個文件有比較詳細(xì)的說明,非常容易上手。注意到schema.xml里有一個

    <uniqueKey>url</uniqueKey>

    的配置,這里將url字段作為索引文檔的唯一標(biāo)識符,非常重要。

    三、 加入中文分詞

    對全文檢索而言,中文分詞非常的重要,這里采用了qieqie庖丁分詞(非常不錯:))。集成非常的容易,我下載的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。創(chuàng)建自己的一個中文TokenizerFactory繼承自solr的BaseTokenizerFactory。


    /**

     * Created by IntelliJ IDEA.

     * User: ronghao

     * Date: 2007-11-3

     * Time: 14:40:59

     * 中文切詞 對庖丁切詞的封裝

     
    */

    public class ChineseTokenizerFactory extends BaseTokenizerFactory {

        
    /**

         * 最多切分   默認(rèn)模式

         
    */

        
    public static final String MOST_WORDS_MODE = "most-words";

        
    /**

         * 按最大切分

         
    */

        
    public static final String MAX_WORD_LENGTH_MODE = "max-word-length";

        
    private String mode = null;

        
    public void setMode(String mode) {

                 
    if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)

                          
    || "default".equalsIgnoreCase(mode)) {

                      
    this.mode=MOST_WORDS_MODE;

                 } 
    else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {

                      
    this.mode=MAX_WORD_LENGTH_MODE;

                 }

                 
    else {

                      
    throw new IllegalArgumentException("不合法的分析器Mode參數(shù)設(shè)置:" + mode);

                 }

            }

        @Override

        
    public void init(Map<String, String> args) {

            
    super.init(args);

            setMode(args.get(
    "mode"));

        }

        
    public TokenStream create(Reader input) {

            
    return new PaodingTokenizer(input, PaodingMaker.make(),

                      createTokenCollector());

        }

        
    private TokenCollector createTokenCollector() {

            
    if( MOST_WORDS_MODE.equals(mode))

                 
    return new MostWordsTokenCollector();

            
    if( MAX_WORD_LENGTH_MODE.equals(mode))

                 
    return new MaxWordLengthTokenCollector();

            
    throw new Error("never happened");

        }

    }

    在schema.xml的字段text配置里加入該分詞器。


    <fieldtype name="text" class="solr.TextField" positionIncrementGap="100">

                
    <analyzer type="index">

                    
    <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>


                    
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>

                    
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>

                    
    <filter class="solr.LowerCaseFilterFactory"/>


                    
    <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

                
    </analyzer>

                
    <analyzer type="query">

                    
    <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>               

                    
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>

                    
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>

                    
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>

                    
    <filter class="solr.LowerCaseFilterFactory"/>

                    
    <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

                
    </analyzer>

            
    </fieldtype>

    </types>

        完成后重啟tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp

    體驗到庖丁的中文分詞。注意要將paoding-analysis.jar復(fù)制到solr的lib下,注意修改jar包里字典的home。

    四、 與自己應(yīng)用進(jìn)行集成

    Solr安裝完畢,現(xiàn)在可以將自己的應(yīng)用與solr集成。其實過程非常的簡單,應(yīng)用增加數(shù)據(jù)-->根據(jù)配置的字段構(gòu)建add的xml文檔-->post至solr/update。

    應(yīng)用刪除數(shù)據(jù)à根據(jù)配置的索引文檔唯一標(biāo)識符構(gòu)建delete的xml文檔-->post至solr/update。

    檢索數(shù)據(jù)à構(gòu)建查詢xml—>get至/solr/select/-->對solr返回的xml進(jìn)行處理-->頁面展現(xiàn)。

    具體的xml格式可以在solr網(wǎng)站找到。另外就是solr支持高亮顯示,非常方便。

    關(guān)于中文,solr內(nèi)核支持UTF-8編碼,所以在tomcat里的server.xml需要進(jìn)行配置

    <Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>

    另外,向solr Post請求的時候需要轉(zhuǎn)為utf-8編碼。對solr 返回的查詢結(jié)果也需要進(jìn)行一次utf-8的轉(zhuǎn)碼。檢索數(shù)據(jù)時對查詢的關(guān)鍵字也需要轉(zhuǎn)碼,然后用“+”連接。


    String[] array = StringUtils.split(query, null0);

            
    for (String str : array) {

                result 
    = result + URLEncoder.encode(str, "UTF-8"+ "+";

            }



    只有注冊用戶登錄后才能發(fā)表評論。


    網(wǎng)站導(dǎo)航:
     

    posts - 131, comments - 12, trackbacks - 0, articles - 32

    Copyright © yukui

    主站蜘蛛池模板: 亚洲国产精品一区二区久久| 亚洲人成网站免费播放| 99久久人妻精品免费二区| 亚洲另类视频在线观看| 看全色黄大色大片免费久久| 免费看又黄又无码的网站| 亚洲毛片免费观看| 国产一区二区三区免费观看在线| 337p日本欧洲亚洲大胆精品555588| 永久免费的网站在线观看| 亚洲欧洲日产国码在线观看| **一级一级毛片免费观看| 日本亚洲欧美色视频在线播放 | 亚洲小视频在线观看| 女人18毛片特级一级免费视频| 亚洲三级在线视频| 日本人的色道免费网站| 乱爱性全过程免费视频| 亚洲va成无码人在线观看| 中文字幕亚洲无线码a| 中文精品人人永久免费| 久久国产精品亚洲综合| 国产片免费福利片永久| 成年大片免费高清在线看黄| 亚洲成A∨人片在线观看无码| 亚洲А∨精品天堂在线| 九九全国免费视频| 亚洲va成无码人在线观看| 久久亚洲AV永久无码精品| 成年女人免费v片| 99热在线免费播放| 91av免费在线视频| 亚洲国产精品一区二区成人片国内| 在线免费观看污网站| 精品女同一区二区三区免费站| 香蕉免费在线视频| 羞羞视频免费网站含羞草| 亚洲国产系列一区二区三区| 日韩在线免费看网站| 国产免费女女脚奴视频网| 黄色一级毛片免费看|