hadoop 原理參考:
用 Hadoop 進行分布式并行編程
官方中文文檔:
http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html
1. 首先安裝 cygwin ssh 參考
windows ssh 搭建
2. 搭建hadoop
參考 Cygwin下的Hadoop快速入門-偽分布式模式的查缺補漏
這里還有 cygwin putty 控制臺方法設置
3. 開發(fā)環(huán)境和 demo
參考
通過參考應該環(huán)境的搭建沒問題,我這搭建成功了,說下我這一些注意到地方吧
1. 我這使用的最新版本的 hadoop-0.20.0 在參考文檔中,修改
hadoop-site.xml 。
在這個版本已經(jīng)在conf下找不到了,我這嘗試修改的 hdfs-site.xml 。測試的時候竟然通過了。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.data.dir</name>
<!--linux -->
<!--<value>/home/lky/tools/java/hadoop-0.18.3/dfs</value>-->
<value>C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>60</value>
<description>Number of minutes between trash checkpoints.
If zero, the trash feature is disabled.
</description>
</property>
</configuration>
整理 m.tkk7.com/Good-Game