成都心情

Hadoop周刊 第 173 期

啟明星辰平臺和大數據總體組編譯

2016年6月5日

本周，Spark、NiFi、Netflix Meson、Storm方面只有少量內容。Spark峰會本周在舊金山召開，所以呢，下周肯定有不少內容。

技術新聞

Databricks博客介紹了Apache Spark 2.0的新特性——跨語言支持存儲和加載機器學習模型。模型通過簡單的API被存儲和加載，模型的元數據與參數保存為JSON風格，模型的數據保存為Parquet風格。

https://databricks.com/blog/2016/05/31/apache-spark-2-0-preview-machine-learning-model-persistence.html

https://databricks.com/blog/2016/05/31/apache-spark-2-0-preview-machine-learning-model-persistence.html

Meson是Netflix用于執行機器學習工作流的框架。它是Apache Hive、Spark、Mesos這些大數據技術之間的粘合劑。工作流使用DSL進行編寫，Meson還提供了更加先進的流水線可視化UI。Netflix目前沒開源Meson，但他們有這方面的計劃。

http://techblog.netflix.com/2016/05/meson_31.html

IBM Hadoop Dev博客簡要介紹和示范了HDFS歸檔存儲能力。

https://developer.ibm.com/hadoop/2016/06/01/use-hdfs-archival-storage/

Apache Storm 1.0有了令人驚訝的新特性。本文關注了幾個調試能力方面的增強：動態日志級別、統一日志搜索、事件抽樣、集成jstack/heap dumps/java飛行記錄器分析worker。

http://hortonworks.com/blog/whats-new-apache-storm-1-0-part-1-enhanced-debugging/

Cloudera博客撰文介紹了如何使用Apache Spark來探索性分析存儲在CSV文件中的NBA歷史統計數據。分析過程混合使用了Scala和SQL。

http://blog.cloudera.com/blog/2016/06/how-to-analyze-fantasy-sports-using-apache-spark-and-sql/

Apache NiFi作為一種通用工具受到了很多的關注。它為“基于流程的處理”而生，可能對很多人并不意味著什么，但NiFi支持標準的ETL，流式處理等。許多NiFi例子都示范了如何從Twitter firehose把數據移動到HDFS中，但本文聚焦在NiFi另外的特性上——示范了一些簡單的從HTTP拉數據的過程。

http://hortonworks.com/blog/apache-nifi-not-scratch/

Amazon Redshift構建于PostgreSQL引擎上，所以你可以利用PostgreSQL的擴展功能讓Redshift集群連接PostgresSQL實例。這樣一來，諸如跨數據庫連接、將Redshift的結果轉換為JSON、在Postgres中創建Redshift數據視圖、

數據庫之間復制數據等有趣的應用都能實現。

http://blogs.aws.amazon.com/bigdata/post/Tx1GQ6WLEWVJ1OX/JOIN-Amazon-Redshift-AND-Amazon-RDS-PostgreSQL-WITH-dblink

其他發布

FeatherCast發布了超過100個ApacheCon北美峰會的相關錄音。

http://feathercast.apache.org/tag/apacheconna2016/

InfoWorld介紹了Heron，Twitter才開源的Apache Storm兼容項目。本文介紹了兩個項目在架構上的不同。主要指出了Heron起步于幾個月前（Storm已發布），就是說Storm在特性上比Heron更有優勢。

http://www.infoworld.com/article/3078134/analytics/had-it-with-apache-storm-heron-swoops-to-the-rescue.html

Databricks在edX上開了一門新課程，“Apache Spark入門”。課程從6月15日開始，一直持續兩周。

launch-first-of-five-free-big-data-courses-on-apache-spark.html

產品發布

Amazon EMR發布了4.7.0版。本次發布支持了Apache Tez和Apache Phoenix，并內置了新版本的Apache HBase、Apache Mahout、Presto。另外，AWS大數據博客還指導了Phoenix如何上手。

http://aws.amazon.com/blogs/aws/amazon-emr-4-7-0-apache-tez-phoenix-updates-to-existing-apps/

http://blogs.aws.amazon.com/bigdata/post/Tx2ZF1NDQYDJFGT/Supercharge-SQL-on-Your-Data-in-Apache-HBase-with-Apache-Phoenix

Apache Hive本周發布了2.0.1版。從二月發布2.0.0以來，首次小版本發布。本次修復了60個bug。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CD37344A3.77A64%25sershe@apache.org%3E

活動

中國

無