Hadoop Conf 2014 Japan簡易メモ

2014/7/8に開催されたHadoop Conference 2014に参加してきました。
登録者数1,300人という事でした。5~6年前にHadoopがだんだんと自分の身の回りで、RDBMSに代る大規模データ解析システムで使われ始めてから
それなりに月日が過ぎましたが、改めて、日本におけるHadoopコミュニティの進化を感じることが出来たセミナーでした。
これからも、RDBMS&KVSとで共存しがなら、ビジネスサポートが進化していくと良いですね。
余談ですが、このようなセミナーをサポートしてくれているRecruit Technologyさんは太っ腹だな。。。と思いました。

hadoop

[ Big Data on Virtual Environment ]

1. Easy Provisioning
2. Easy Migration & Replacement
3. Reduce Facility Cost
4. Cost Reduction

1) BDD as a Serviceの検討
HADOOP + SPARK + Sentryの組み合わせを利用した、仮想サーバー上のBIG Data解析基盤の提供。
MapReduceの代わり。基本Searchは物理で提供しているので、Virtual環境でも同等のサービスを
提供するのも良い。(SPARK入れるとメモリーに展開してくれるみたい)

SPARK
SPARKは注目な技術です。
http://spark.apache.org/
http://www.cloudera.co.jp/blog/putting-spark-to-use-fast-in-memory-computing-for-your-big-data-applications.html
http://spark-summit.org/wp-content/uploads/2013/10/Feng-Andy-SparkSummit-Keynote.pdf

Sentry for Authentication (認証連携) Kerberos
会社でのアカウント管理やコンプライアンス対応には此方が便利そうです。
https://blogs.apache.org/sentry/

Splunkなどは優秀ですが、自分でログ解析作るのであれば・・・
お金が無いサービスでログ解析のニーズがあったら、サービスレベルや柔軟性は下がるかもしれませんが,
廉価版のサービスも提供すると利用者の選択肢が増えて良いのかも。但し、OPEXが増えるのであればNG…
Norikura+Fluentd+kibana+elasticsearch

https://github.com/norikra/fluent-plugin-norikra
http://www.slideshare.net/recruitcojp/20140709-lt 
http://dev.classmethod.jp/cloud/aws/block_dos_attack_by_norikra/
http://blog.excale.net/index.php/archives/1929
http://eure.jp/blog/fluentd_elasticsearch_kibana/

※Other Interesting Information
Evolution of Impala – Hadoop
http://www.slideshare.net/Cloudera_jp/evolution-of-impala-hcj2014
Recommendation Engine
http://www.slideshare.net/MapR_Japan/mahoutsolr-hadoop-conference-japan-2014
Basic Information
http://www.slideshare.net/Cloudera_jp/hadoop-hcj2014
E-Book for Cloudera (FREE)
http://www.oreilly.co.jp/books/9784873116723/

Comments are closed.

Post Navigation