<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    隨筆-153  評論-235  文章-19  trackbacks-0
     
    用unzip

    unzip myfile.zip
    posted @ 2008-09-02 16:03 流浪汗 閱讀(823) | 評論 (0)編輯 收藏
    上一篇記錄了本機模式我虛擬分布模式。http://m.tkk7.com/chenlb/archive/2008/08/11/221311.html

    現我在虛擬機里開三臺機子,分別命名為:master(172.16.249.210),slave-1(172.16.249.211),slave-2(172.16.249.212)。

    master可以無密碼登錄到slave機。
    每臺機子都匹配ip對應名。
    127.0.0.1       localhost       localhost

    172.16.249.210  master
    172.16.249.211  slave-1
    172.16.249.212  slave-2

    修改conf/masters文件和conf/slaves文件。
    conf/masters文件:
    master

    conf/slaves文件:
    slave-1
    slave-
    2

    格式化后可以啟動了:
    [chenlb@master hadoop-0.17.1]$ bin/start-all.sh 


    參考資料:
    http://hadoop.apache.org/core/docs/r0.17.1/quickstart.html
    http://hadoop.apache.org/core/docs/r0.17.1/cluster_setup.html
    posted @ 2008-08-11 15:45 流浪汗 閱讀(798) | 評論 (0)編輯 收藏

     

    Required Software

    1. JavaTM 1.5.x
    2. ssh與sshd

    如果沒有安裝請自行安裝。我以CentOS 4.6為例。

    下載hadoop,http://apache.mirror.phpchina.com/hadoop/core/ 我下載的是0.17.1版本。

    解壓hadoop-0.17.1.tar.gz,然后conf/hadoop-env.sh 設置JAVA_HOME ,我是可JAVA_HOME 去注釋,值自己的路徑。如:

    export JAVA_HOME=/usr/java/jdk1.6.0_06

    如果不設置啟動后用不了。

    先從簡單開始。

    1、Local (Standalone) Mode ,叫單機模式。

    [chenlb@master hadoop-0.17.1]$ bin/hadoop jar hadoop-0.17.1-examples.jar grep conf output 'dfs[a-z.]+'

     

    [chenlb@master hadoop-0.17.1]$ cat output/*


    如果,正常可以看到內容。像這樣。

    3       dfs.
    3       dfs.class
    2       dfs.period
    2       dfs.replication
    ...    ...

    2、Pseudo-Distributed Mode,虛擬分布模式。
    vi conf/hadoop-site.xml
    <configuration>
    <property>
            
    <name>fs.default.name</name>
            
    <value>hdfs://master:9000/</value>
    </property>
    <property>
            
    <name>mapred.job.tracker</name>
            
    <value>hdfs://master:9001/</value>
    </property>
    <property>
            
    <name>dfs.replication</name>
            
    <value>1</value>
    </property>
    <property>
            
    <name>hadoop.tmp.dir</name>
            
    <value>/home/chenlb/hadoop-0.17.1/tmp/</value>
    </property>
    </configuration>

    在/etc/hosts里添加本機ip對應master,例如我的:172.16.249.210    master
    保證可以無密碼登錄。請看那一篇文章:http://m.tkk7.com/chenlb/archive/2008/07/03/212293.html

    用ssh localhost試一下是否免密碼登錄。

    格式化分布式文件系統:
    [chenlb@master hadoop-0.17.1]$ bin/hadoop namenode -format

    啟動Hadoop:
    [chenlb@master hadoop-0.17.1]$ bin/start-all.sh 

    默認可以在${HADOOP_HOME}/logs里看到日志。

    可以用web看瀏覽NameNode和JobTracker
  • NameNode - http://localhost:50070/
  • JobTracker - http://localhost:50030/


    把文件放到分布式文件系統里:

    [chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -put conf input

    此時已經在分布文件系統里建立了input文件夾。而conf是本地的文件夾。

    執行示例:
    [chenlb@master hadoop-0.17.1]$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

    這里input和output都是分布式文件系統的的文件夾,而且output在分布式文件系統里不存在,否則報錯(也可以先刪除它bin/badoop dfs -rmr output)。

    耐心等待。結束后可以查看。
    [chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -get output output 
    [chenlb
    @master hadoop-0.17.1]$ cat output/* 

    也可以直接在分布式文件系統里查:
    [chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -cat output/*

    成功運行后可以關閉它了:
    [chenlb@master hadoop-0.17.1]$ bin/stop-all.sh

    我在第2階段,出了些問題:output已經存在,要先刪除它(第二次運行前,可以不用output)。

    下一篇講:Fully-Distributed Mode http://m.tkk7.com/chenlb/archive/2008/08/11/221314.html
  • posted @ 2008-08-11 15:28 流浪汗 閱讀(4951) | 評論 (2)編輯 收藏
    在linux下改了ip地址后,不能立即生效。以前是重啟機器,我覺得這樣很傻,后來知道網卡可以重啟。

    /etc/init.d/network restart
    posted @ 2008-08-11 09:34 流浪汗 閱讀(6068) | 評論 (1)編輯 收藏
    一直想了解分布搜索與索引。Lucene有MultiSearcher,solr1.2的只能有單個索引,現在1.3可以有Distributed Searching這玩意。可以從多個索引里搜索出并合并結果返回給你。這些索引不是replication的,是分割的。可以先%num方式索引在num臺機器上,然后用solr的shards參數。

    如:
    shards=localhost:8080/use-solr1.3,localhost:9080/use-solr1.3&q=chenlb

    測試后可以返回結果,但合并的時候發了點時間,我的機子上40-60ms,單個搜索基本是0ms

    測試數據是14W結果,分開索引到兩個tomcat里。看了后臺,一個搜索有兩次請求,其中合并的那機子是三次請求。時間可能花在請求里,還有就是合并可能緩存不到。

    官方建議:如果單個solr足夠快的話沒有必要搞Distributed Searching,如果再高點要求可以index repliction。

    當索引很大的時候可能Distributed Searching用的上場, 個人之見。

    參考:http://wiki.apache.org/solr/DistributedSearch
    posted @ 2008-08-07 18:31 流浪汗 閱讀(1014) | 評論 (0)編輯 收藏
    html 與 xml的轉義符不同, xml就只有5個:

    < &lt;
    > &gt;
    & &amp;
    " &quot;
    ' &apos;


    xml沒有&nbsp;
    posted @ 2008-08-06 12:40 流浪汗 閱讀(15414) | 評論 (2)編輯 收藏
    我比較喜歡免安裝版(非安裝版)的mysql,

    下載如: mysql-noinstall-5.0.45-win32.zip

    把它解壓到如: E:/mysql-5.0.45, 當然可以任意位置。

    然后改my-medium.ini文件為my.ini,當然也可以不改名,但要改內容

    basedir="E:/mysql-5.0.45/"

    datadir
    ="E:/mysql-5.0.45/Data/"

    如果上面,最好加個字符集,在[mysqld]和[mysql]下面加
    default-character-set=utf8

    當然可能是其它字符集, 如:gbk

    寫個mysql-startup.bat
    "E:\mysql-5.0.45\bin\mysqld" --defaults-file="E:\mysql-5.0.45\my.ini"

    雙擊mysql-startup.bat即可啟動。

    用mysqladmin關閉mysql服務:
    E:/mysql-5.0.45/bin/mysqladmin -u root shutdown


    ^_^
    posted @ 2008-08-03 16:22 流浪汗 閱讀(3087) | 評論 (1)編輯 收藏
        想讓Tomcat支持ssi,一般是shtml文件。配置比較簡單。

    默認tomcat不支持ssi。

    現以tomcat5.5.x為例。

    改conf/web.xml配置。

    有兩種方式:一是servlet,二是filter。

    servlet方式的:
    <!--
        <servlet>
            <servlet-name>ssi</servlet-name>
            <servlet-class>
              org.apache.catalina.ssi.SSIServlet
            </servlet-class>
            <init-param>
              <param-name>buffered</param-name>
              <param-value>1</param-value>
            </init-param>
            <init-param>
              <param-name>debug</param-name>
              <param-value>0</param-value>
            </init-param>
            <init-param>
              <param-name>expires</param-name>
              <param-value>666</param-value>
            </init-param>
            <init-param>
              <param-name>isVirtualWebappRelative</param-name>
              <param-value>0</param-value>
            </init-param>
            <load-on-startup>4</load-on-startup>
        </servlet>
    -->

    <!--
        <servlet-mapping>
            <servlet-name>ssi</servlet-name>
            <url-pattern>*.shtml</url-pattern>
        </servlet-mapping>
    -->

    找到上面的內容,去掉注釋。

    filter方式:
    <!--
        <filter>
            <filter-name>ssi</filter-name>
            <filter-class>
              org.apache.catalina.ssi.SSIFilter
            </filter-class>
            <init-param>
              <param-name>contentType</param-name>
              <param-value>text/x-server-parsed-html(;.*)?</param-value>
            </init-param>
            <init-param>
              <param-name>debug</param-name>
              <param-value>0</param-value>
            </init-param>
            <init-param>
              <param-name>expires</param-name>
              <param-value>666</param-value>
            </init-param>
            <init-param>
              <param-name>isVirtualWebappRelative</param-name>
              <param-value>0</param-value>
            </init-param>
        </filter>
    -->

    <!--
        <filter-mapping>
            <filter-name>ssi</filter-name>
            <url-pattern>*.shtml</url-pattern>
        </filter-mapping>
    -->

    同樣是去掉上面的注釋。但是filter方式的還要加mime-mapping=text/x-server-parsed-html
    <!--
        <mime-mapping>
            <extension>shtml</extension>
            <mime-type>text/x-server-parsed-html</mime-type>
        </mime-mapping>
    -->

    去掉mime-mapping的shtml注釋。

    在test的web試下:
    index.shtml
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml">
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <title>ssi 示例</title>
    </head>

    <body>
    ssi area 
    <!--#include virtual="ssi.html" -->
    <p>

            footer 
    <!--#include virtual="footer.html" --><p>
            
            
    <p>
                
    <!--#config timefmt="%D" -->
            Me last modified 
    <!--#echo var="LAST_MODIFIED" -->

    </body>
    </html>

    footer.html
    <ul>
        
    <li>index</li>
        
    <li>about</li>
    </ul>

    ssi.html
    <p>this is ssi.html file</p><p>
    <p>中文</p>
    ssi.html file end
    <p/>


    現在可以,http://localhost:8080/test/index.shtml 有結果了。
    posted @ 2008-07-27 21:55 流浪汗 閱讀(1377) | 評論 (0)編輯 收藏
        有一個項目的代碼提交是用https協議的。一提交的時候出現如下錯誤:

    svn: PROPFIND request failed on '/svn/trunk/xxx'
    svn: PROPFIND of '/svn/trunk/xxx': Could not create SSL connection through proxy server (https://.

        這下郁悶,看了下eclipse設置,又沒有設代理。google一下,看到一個郵件列表,有一個字眼“TSVN”。哦,快去看看TortoiseSVN。任意一個目錄右擊->TortoiseSVN->設置->網絡,有學校時用的代理。去掉一試,好了沒錯了。

        前端時間用Subclipse時,一定要安裝TortoiseSVN才可保存密碼,現在又TortoiseSVN的設置Subclipse又有效。帶著探索心去看eclipse的設置。Team->svn那里有一個選項:

    SVN接口:
    1.JavaHL(JNI)
    2.SVNkit(純Java)

    原來選的是JavaHL(JNI),現在明白了。改用SVNkit試一下,現在的subclipse不會理TortoiseSVN了。

    posted @ 2008-07-26 13:34 流浪汗 閱讀(3713) | 評論 (0)編輯 收藏
    有些windows操作系統被人"強奸"過的, 導致語言欄變灰色,無法顯示,在任務欄里不顯示.

    一般是ctfmon.exe問題. 看下C:\windows\system32\ctfmon.exe文件. 沒有就下載

    http://m.tkk7.com/Files/chenlb/ctfmon_xp.rar

    安裝它,

    然后在: 控制面板->區域和語言選項->語言->詳細信息->高級->去掉"關閉高級文字服務"

    即可.

    那一種(百度知道): http://zhidao.baidu.com/question/31477300.html

    看你是使用2003 還是XP系統

    要是XP系統的話了就設置兩個地方
    1.開始,運行,msconfig,勾選ctfmon.exe

    控制面板--區域和語言選項--語言--詳細信息--高級--不要選“關閉高級文字服務”
    2.開始--控制面板--日期、時間、語言和區域設置--區域和語言選擇--語言--詳細信息--語言欄(選擇在桌面顯示語言欄 還有 選擇:在任務欄中顯示其他語言欄圖標)

    參考: http://www.nvyouwm.cn/html/jishuwendang/huanjingpeizhi/20080602/266_2.html
    posted @ 2008-07-12 13:26 流浪汗 閱讀(7564) | 評論 (9)編輯 收藏
    僅列出標題
    共16頁: 上一頁 1 2 3 4 5 6 7 8 9 下一頁 Last 
    主站蜘蛛池模板: 亚洲一区二区三区高清在线观看 | 亚洲免费日韩无码系列 | 精品国产亚洲第一区二区三区 | 国产h肉在线视频免费观看| 亚洲国产精品久久久久久| 鲁丝片一区二区三区免费| 亚洲欧洲日产国码无码久久99| 国产精品免费看久久久香蕉| 亚洲人成无码网站| 99久久免费精品高清特色大片| 亚洲天堂在线播放| 国产h视频在线观看免费| 亚洲中文无码亚洲人成影院| 日韩成人免费视频播放| 狼色精品人妻在线视频免费| 久久99亚洲综合精品首页| 中文在线免费看视频| 亚洲av日韩av高潮潮喷无码| 亚洲人成免费网站| 亚洲精华国产精华精华液网站| 又大又硬又爽免费视频| 久久久久久国产a免费观看不卡| 午夜影视日本亚洲欧洲精品一区| 免费观看美女用震蛋喷水的视频| 亚洲综合精品成人| 久久久青草青青国产亚洲免观| 国产真人无码作爱视频免费 | 国产成人精品日本亚洲语音 | 亚洲色图综合在线| 1000部羞羞禁止免费观看视频 | 亚洲综合色一区二区三区| 亚洲婷婷国产精品电影人久久| 一级毛片在线观看免费| 亚洲国产成人无码AV在线影院| 亚洲日韩aⅴ在线视频| 2021免费日韩视频网| 国产精品久久久久久亚洲小说| 久久亚洲精品成人综合| 午夜爱爱免费视频| 野花香在线视频免费观看大全 | 亚洲丁香色婷婷综合欲色啪|