tangtb

前置條件

成功安裝配置Hadoop集群

下載并解壓pig安裝包

下載地址：http://pig.apache.org/

解壓pig安裝包：tar -zxvf pig-0.12.0.tar.gz

 

環境變量

Pig工作模式

本地模式：只需要配置PATH環境變量${PIG_HOME}/bin即可，適用于測試

Mapreduce模式：需要添加環境變量PIG_CLASSPATH=${HADOOP_HOME}/conf/，指向hadoop的conf目錄

 

本例直接配置為Mapreduce模式

啟動grunt shell

首先確定Hadoop集群已經啟動，使用jps查看進程

[hadoop@appserver ~]$ pig 進入grunt shell

 

使用help命令查看幫助信息

查看grunt shell命令

準備測試數據（下載數據文件）

以NCDC天氣數據求年最大氣溫為例，準備數據如下（為方便測試每列數據只包含年、氣溫和數據狀態并以冒號分割）：

在grunt shell中將ncdc_data.txt存入hdfs中

grunt> copyFromLocal ~/ncdc_data.txt ./

使用Pig latin求年最高氣溫

加載天氣數據

grunt> A = LOAD 'ncdc_data.txt' USING PigStorage(':') AS (year:int, temp:int, quality:int);

過濾數據

grunt> B = FILTER A BY temp != 9999 AND ((chararray)quality matches '[01459]');

或B = FILTER A BY temp != 9999 AND (

                   quality == 0 OR quality == 1 OR quality == 4 OR quality == 5 OR quality == 9);

按年分組天氣數據

grunt> C = GROUP B BY year;

逐行掃描數據并求最大值和對應的年份(group)

grunt> D = FOREACH C GENERATE group, MAX(B.temp) AS max_temp;

輸出結果

grunt> DUMP D;

存儲結果到文件

grunt> STORE D INTO 'max_temp' USING PigStorage(':');

查看結果

grunt> cat max_temp