講義:

Thinking at Scale: Introduction to Hadoop

大規模データ管理の際の問題点、ベストプラクティスに関して解説するとともに、Hadoopの機能について紹介します。

講義:

MapReduce and HDFS

大規模データの保存、処理、分析の際の核となるツールであるMapReduce、HDFSについての基礎的内容の講義をします。

実習:

Getting Started with Hadoop

インストラクションに従い、ClouderaのHadoop VMをダウンロードの上、tool群を利用しながらいくつかのサンプルジョブを稼動させるまでの実習を行います。

講義:

The Hadoop Ecosystem

Hadoopとともに大規模データプロセッシングを実現する、周辺プロジェクトをご紹介します。

講義:

The Hadoop MapReduce API

Hadoop APIを利用したソフトウェア開発手法の紹介をします。

講義:

Introduction to MapReduce Algorithms

MapReduce向けプログラムには、従来とは異なる分析手法が要求されます。この講義では、MapReduceアルゴリズム利用上の留意点に関して解説します。

実習:

Writing MapReduce Programs

この実習プログラムを通じ、大規模データの取り扱い・転置インデックス作成までに必要な、MapReduceプログラムにおける一連の流れや留意点を実習で確認し、データプロセッシングソフトウェア開発の基本的事項の習得を図ります。

講義:

Hadoop Deployment

Hadoop、MapReduceアプリケーション開発に関する基本的理解が整ったところで、この講義では、データセンター内、またはAmazon EC2上でのHadoopの実装から稼動までの流れについての学習をします。

講義:

Augmenting Existing Systems with Hadoop

第二日の講義のスタートとして、データ管理システムのあり方、課題について俯瞰をします。Hadoopは既存インフラの置き換えではなく、むしろ大規模なバッチプロセッシングシステムの構築に活用され、これにより過去できなかったたくさんの課題達成につながります。

 講義:

Best Practices for Data Processing Pipelines

Hadoopによる大規模データ処理は、Hadoop上へのデータ格納が第一歩です。あらゆるところから生成される多数の種類のデータをHadoop管理下に置くまでの一連の流れを確認します。

実習:

Importing Existing Databases with Sqoop

Sqoop は、Clouderaにより開発されHadoopプロジェクトに移行されたコマンドラインツールです。Sqoopにより、RDBMSからのデータインポート、MapReduce、Hive、Pigの活用、連携が容易となります。

 講義:

Introduction to Pig

Pigは大規模データ分析に利用される高級言語です。比較的シンプルな言語であるPigを通じて、MapReduceの構造の多くが理解できます。Pigはまた、しばしばアドホックな分析に活用されます。

 実習:

Working with Pig

Pigの活用方法を実習します。

 講義:

Introduction to Hive - A Data Warehouse for Hadoop

HiveはHadoop上で稼動する強力なデータウェアハウスアプリケーションであり、SQLを通じたデータアクセスを実現します。この講義ではん、Hiveとクエリ言語の概要を解説します。

 実習:

Working with Hive

Hiveを活用したデータインポート、テーブル及びクエリ作成を実習します。

講義:

Debugging MapReduce programs

分散型環境下におけるデバッギングにはたくさんの課題があります。この講義では、この課題を軽減させるためのプログラム設計について解説をするとともに、デバッグローカルテスティングツールやデバッグのテクニックを紹介します。

講義:

Advanced Hadoop API

Hadoop MapReduce環境下でのJavaプログラミングを第一日目に学習しましたが、この講義では、カスタムデータタイプやファイルフォーマット、HDFSへのダイレクトアクセス、中間的データパーティショニング、DistributedCache等、APIの更なる活用を目指します。

講義:

Advanced Algorithms

この講義では、いくつかのグラフアルゴリズムの紹介をするとともに、これを活用するPageRankのような例の解説を通じて、より深いアルゴリズムへの理解を目指します。更に、効率的な実装計画、各種データモデルに応じた、最適な技術選択などについても解説をします。

実習:

Optimizing MapReduce Programs

Clouderaのトレーニング用VMを使い、MapReduceプログラム開発に際して重要なパフォーマンスチューニングや本日講義した各種技術を確認するための実習です。

試験:

Cloudera Certified Hadoop Developer認定試験

3日間の講義を出題範囲とし、Hadoop Developerとして必要な知識、技術が習得できているかの確認をするCCHD認定試験（選択式試験、日本語）を開催します。