オープンソースの分散処理フレームワーク Hadoop に関するイベントです。

本イベントは、Hadoopユーザー会が主催しており、有志によって運営されます。参加費は無料です。

イベント終了後に懇親会を行います。

■日時

2011年9月26日（月）　10:00～18:30  （受付開始 9:30）

■会場

Bellesalle Shiodome (東京・ベルサール汐留)
http://www.bellesalle.co.jp/bs_shiodome/access.html

■主催

Hadoopユーザ会

■後援・会場提供

株式会社リクルート

■タイムテーブル 

■ Keynote

『The role of the Distribution in the Apache Hadoop Ecosystem』

　講演者: Cloudera Inc, HDFS/MapReduce/HBase Commiter, Todd Lipcon

In the past several years, Apache Hadoop has enjoyed considerable success due to its ability to scalably and reliably store and process vast quantities of data. HDFS and MapReduce are the two core components of this software, but the real power of Hadoop comes from the larger ecosystem of open source projects built on and around this core: projects like Apache Hive, Pig, Flume, Oozie, HBase, Avro, and more. In this talk, Todd will introduce CDH, Cloudera's entirely open source distribution that integrates all of these components in a single product, and explain why it is the easiest and most popular way to deploy Hadoop in critical enterprise environments world-wide.

『About Hortonworks』

　講演者: HortonWorks, Founder, Owen O'Malley

Hortonworks is a new company that was founded around the engineering team from Yahoo that has been driving the majority of the work on Apache Hadoop for the last almost 6 years. Our mission is simple: To revolutionize and commoditize the storage and processing of big data via open source. In order to accomplish this mission, we are focused on accelerating the development and adoption of Apache Hadoop. By making it easier to consume for enterprises and technology vendors, we believe we can overcome any technology and knowledge gaps that could keep Apache Hadoop from reaching its potential. We believe that more than half of the world’s data will be stored in Apache Hadoop within five years.easier to install, manage and use. We also provide support and
training for Apache Hadoop.

『How Hadoop needs to evolve and integrate into the enterprise』

　講演者: MapR Technology Inc, Chief Application Architect, Ted Dunning

Hadoop has allowed new classes of problems to be solved in a dramatically more cost effective way. Many problems, however, do not fit nicely into the pattern of isolated problems with limited legacy systems whose primary difficulty is exactly suited to the map-reduce style of computation. In order to move from the early adopter phase of life to the early mainstream adoption, Hadoop will need to overcome several serious liabilities. These include lack of serious consideration for data loss contingencies, the need for better integration with existing systems and greater use of existing standard protocols.

■ Technical Track, Community Track

『基幹バッチ処理から見たHadoop』
『Hadoop for Enterprise Batch Processing』

　講演者：株式会社 ノーチラス・テクノロジーズ, 神林 飛志

Hadoopは基幹バッチへの適用が可能です。日本でもっとも非常に期待されているマーケットの一つです。実際のケースも紹介しながら、企業エンタープライズからみたHadoopの位置づけを掘り下げていきます。また、Hadoopを基幹バッチ向けに利用するためのOSSであるAsakusaを解説するとともに、非公開・未決定ロードマップや、今後の展開について、また「何が足らないのか？」という点を忌憚なく話す予定です。

Hadoop is suitable for the enterprise batch processing system, and it's a *HOT* market in Japan. I'll nake down how Hadoop fits into the enverprise application, by introducing the real usecase. Also Asakusa framework, which is Hadoop-based batch processing framework will be described, and the public/private roadmap will be introduced.

『NTTデータ流 Hadoop活用のすすめ ～インフラ構築・運用の勘所～』
『Hadoop Best Practices by NTT-Data』

　講演者： NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス, 猿田 浩輔

業務システムや社会インフラシステムでHadoopの活用が進む中で、マスタサーバの可用性や運用性などが課題になることがあります。NTTデータでは、Hadoopがミドルウェアとして持つ機能だけでなく、ほかのOSSとの組合せや運用・管理手法を通じて、それらの問題を解決しています。本セッションでは、マスタサーバのHA化や構成管理方法などの具体的な例とともに、Hadoopのインフラを構築・運用するための勘所を紹介します。

While Hadoop is applied into the enterprise system and the infrastructure, the availability / the ease of operation ofr Hadoop is *key* point. NTT-Data solves these problems by introducing other OSS eco-system alongside Hadoop. This session describes how to ensure H/A in the master server, and manage the configurations across all nodes with a real examples.

『リクルート式Hadoopの使い方』
『Real-World Hadoop Usage in Recruit』

　講演者：リクルート MIT システム基盤推進室 インフラソリューショングループ, 石川信行

リクルートでは複数のクラスタを構築し、データマイニングや統計解析基盤の中心としてHadoopを活用しています。本セッションでは実際の事業での利用事例を紹介するとともに、その裏でどのようにHadoopクラスタを構成しているか、Hadoopだけではなく、Mahout、Sqoopなどのエコシステム、azkabanなどのJOBスケジューリングツールの利用状況、mapRの利用検討についても合わせてお話します。

Recruit, Co. uses Hadoop as a core infrastructure systme for data mining and data analysis, and manages multiple Hadoop clusters for several years. This session describes the real usecase in Recruit, and how to interect Hadoop with the frontend services. Also descibes other trials like Mahout/Sqoop/Azkaban/Mapr.

『Elastic MapReduce: Amazon Web Serviceが提供するhadoopサービス』
『Elastic MapReduce: Hadoop-based Service provided by Amazon Web Services』

　講演者： Amazon Web Services, 大谷晋平

Hadoopはいよいよ普及期を迎えつつあり、様々な企業で活用されてきています。そんな中、Amazon Web Services(AWS)ではHadoopをビルトインしたAmazon Elastic MapReduce(EMR)サービスを提供しています。EMRは開発者が企業のメリットとなる解析の処理にのみフォーカス出来るようなサービスです。本セッションではAWSがどうしてEMRを提供するのか、EMRとしての機能の紹介、最新の機能アップデート、海外及び日本での活用事例や活用のポイント等も含めてご紹介します。

Amazon Web Services (AWS) provides the Hadoop-based service, called Amazon Elastic MapReduce (EMR) for the ease use of it. EMR enables the user to focus on the *analysis*, not manage the infrastructure layer. This session describes why AWS provides EMR, the features of EMR, recent feature lists of EMR, the real usecase of EMR.

『ミクシィにおけるhadoopの利用』
『LSH-Based Recommendation Engine Powered By Hadoop』

　講演者：株式会社ミクシィ,伊藤敬彦

本セッションではミクシィにおける 今のHadoop利用状況、方法についてご紹介させて頂きます。また、それとは別に現在計画中のマイニング分野におけるHadoop の利用と、実データを用いた実験結果について、具体的には Locality Sensitive Hashing (LSH)を利用した推薦（レコメンド）処理、についてご紹介させて頂きます。

This session first describes how Hadoop is currently used at Mixi, the Japanese social networking site. In addition to that, Locality Sensitive Hashing (LSH) based recommendation engine will be described. The real experimental results will be shown.

『マーケティング向け大規模ログ解析事例紹介』
『Large-Scale Log Analysis for the Marketing』

　講演者：NTTコミュニケーションズ,原謙治

NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品・サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。

NTT communication developed the Hadoop-based log analysis system for the marketing purpose. This system extract the interest or feedbacks of the specific goods/products, by analyzing the access logs, query logs, click logs and CGM data. The three types of the analysis are supported: 1) reputation analysis, 2) related-word analysis 3) user interest estimation. This session also describes how to reduce the shuffle size, and the specifications of our Hadoop clusters.

『Apache HBase: an Introduction』

　講演者: Cloudera Inc, HDFS/MapReduce/HBase Commiter, Todd Lipcon

Apache HBase is an open source distributed data-store capable of managing billions of rows of semi-structured data across large clusters of commodity hardware. HBase provides real-time random read-write access as well as integration with Hadoop MapReduce, Hive, and Pig for batch analysis. In this presentation, Todd will provide an introduction to the capabilities and characteristics of HBase, comparing and contrasting it with traditional database systems. He will also introduce its architecture and data model and present some example use cases.

『Hadoop 0.23 and MapReduce v2』

　講演者: HortonWorks, Founder, Owen O'Malley

Apache Hadoop is the de-facto big data platform for data storage and processing. The current stable, production release of Hadoop is 0.20.2XX, but the upcoming release is 0.23. With Hadoop 0.23 there are several major improvements, such as HDFS Federation and MapReduce v2.
I will give the outline of the features of the 0.23 release, with a special focus on the MapReduce v2, which factors the framework into a generic resource scheduler and a per-job, user-defined component that manages the application's execution. High availability, security, and improved multi-tenancy are fundamental to the new architecture. The new architecture also increases innovation, agility and hardware utilization.

『Architectural details and implications of MapR technology』

　講演者: MapR Technology Inc, Chief Application Architect, Ted Dunning

I will present a quick tour of some of the key technological break-throughs in MapR's architecture that allow dramatic increases in scalability, performance and usability. I will then describe how this strong foundation has a strong simplifying influence on a variety of applications including text indexing and retrieval and various machine learning algorithms.

『MapReduceによる大規模データ処理 at Yahoo! JAPAN』
『Processing big data with MapReduce at Yahoo! JAPAN』

　講演者：ヤフー株式会社,Ｒ＆Ｄ統括本部プラットフォーム開発本部検索開発部　角田直行　吉田一星

ヤフーではHadoopを早期に導入し、大規模なHadoopクラスタを構築し運用しています。 大規模クラスタの中では、さまざまなサービスがデータ解析や検索インデックス作成など多種多様にHadoopを活用しています。Hadoopにはさまざまな側面がありますが、本セッションではMapReduceに着目します。HiveやPigなどメタ言語による処理が主流になりつつありますが、複雑な問題に対処するにはMapReduceによる設計が欠かせません。本セッションではヤフーでのHadoopの事例に触れつつ、MapReduceでどう現実の問題に対処しどうアルゴリズムをデザインしたらよいかについて考察していきます。

■ ライトニングトーク

▼ランチタイムLT

12:10-12:20  土屋 敦
『MapReduceをコーディングなしで? 新しいデータ探索ツール BigSheets』
IBMのHadoopディストリビューションである BigInsightsには、GPFS-SNCファイルシステム、JAQL言語、ワークフローエンジンなどの様々な付加機能があります。注目は、BigSheetsというMapReduce処理をコーディングすることなく作成ができるデータ探索ツールです。本日はBigSheetsの機能をご覧いただきます。

12:20-12:30  岡本 晴芳
『Hadoop+Hbaseを基板としたPaaSプラットフォームの構築』
Hadoop+Hbaseを基板としたPaaSプラットフォームの構築について背景 や目的、構築の際の課題点、その他利用テクノロジーや技術的な問題について 紹介致します

12:30-12:40  宵 勇樹
『Hadoopログを全員で使う方法と課題』
今となっては集計のニーズがとても高くなり、Hadoopに蓄積された情報はHadoop 技術者や分析の専門家だけのものではなくなりました。一方でHadoopに蓄積され てるログの中には一般に公開できない情報などもあります。このLTでは職場で現在 取り組んでいる、Hadoop環境を使った上での情報の提示方法やアクセス制限方法 の事例を軽くご紹介します。 (業務内容に触れる話題につき、内容が変更する場合がございます)

12:40-12:50  小林 隆
『パネルログ分析(仮)』
サイト内のログ解析ではなく、一人一人のWeb行動に基づいたログ分析を行うサービスの事例を紹介します。

12:50-12:53  玉川竜司
『Hadoop MapReduce デザインパターン本の紹介』
このたび、象本に続いて「Hadoop MapReduce デザインパターン」がオライリージャパンから出ることになりました。ちょっとだけお時間をいただいて、内容を紹介させていただきます。

▼LT

13:50-14:00  田籠 聡 (tagomoris)
『Hadoop and subsystems in livedoor』
ライブドアにおけるログ解析処理の規模、およびログ収集やHiveを中心とした解析 処理の構成、周辺ツールについてご紹介します。

14:00-14:10  田中 慎司
『Lightweight wrapper for Hive on Amazon EMR』
Amazon EMR上のHiveは非常にパワフルなのですが、クラスタを起動 したり、テーブルをセットしたり、結果を取得したり、定期実行したり、という処理までは サポートしてくれません。 そこで、シンプルに使えるHiveジョブの実行支援ラッパーを (Perlで)書いてみました。Hiveの処理能力を軽量な仕組みでぶんまわしましょう!

14:10-14:20  鈴木 俊裕
『HBaseで大規模なグラフ構造を扱う(開発中)』
現在、アメーバでは友達関係やフォロー関係などのグラフ構造をMySQ Lで管理しています。しかしながら、グラフ構造が大規模になるとMySQLの管理コスト が増大していく問題点があります。 この問題を解決するために、HBaseに着目しました。現在、HBaseでグラフ構造を扱う DBを開発中です。今回は、どのようにHBaseでグラフ構造を扱っていくかをお話したい と思います。

14:20-14:30  井上 敬浩
『Large Scale Graph Processing とは』
グラフデータの大規模処理はMapReduceよりも効率の良い計算モデル が提案され、Google Pregel・Giraph・Hama・GoldenOrb等のプロジェクトにおいて実装 が進められています。またHamaやGiraphはNextGen Apache Hadoop MapReduceへ の対応が進められています。本LTでは"Large Scale Graph Processing"とはどのような ものか、各プロジェクトの特徴と共にMap Reduceと比較して紹介したいと思います。

■ その他

・Hadoop関連書籍の特別販売を予定しています。

・関西にてパブリックビューイングが行われます。
　『Hadoopカンファレンス パブリックビューイング in 関西（by 神戸GTUG）』

■実行委員会

• 太田 一樹  @kzk_mover
• 濱野 賢一朗 （株式会社NTTデータ）  @hamaken
• 中野 猛 （株式会社リクルート）  @tf0054
• 北岡 史也 （株式会社リクルート）  @fumiyax
• 神林 飛志 （株式会社ノーチラス・テクノロジーズ）  @okachimachiorz1
• 大谷 晋平 （Amazon Web Services）  @shot6
• 猿田 浩輔 （株式会社NTTデータ）  @raspberry1123

2011/9/20追記

　サブ会場をsateliteとして開放できそうですので定員を1100人⇛1400人に変更致しました

2011/9/14追記

　定員を1000人⇛1100人に変更致しました

2011/9/12追記

　LTの募集は締め切らせて頂きました