２月２７日のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき
Hadoopエコシステムの最新技術動向とＮＴＴデータの取り組み
をメモメモ
Hadoopエコシステムの最新技術動向とＮＴＴデータの取り組み
・自己紹介
・Ｈａｄｏｏｐの概要
ＨＤＦＳ
ＭａｐＲｅｄｕｃｅ
ＹＡＲＮ
エコシステムの最新動向
データの取り組み
【Ｈａｄｏｏｐとは】
・オープンソースの大規模分散処理フレームワーク
・Doug Cutting（だぐかってぃんぐ）氏がJavaで開発
扱うデータがビッグであるために従来のＩＴ－キテクチャでは難しかった
→２００５年から開発開始
名前：ぬいぐるみから
Ｈａｄｏｏｐの構成
・集中管理がらの分散システム
Ｈａｄｏｏｐマスタサーバー
Ｈａｄｏｏｐスレーブサーバー
Ｈａｄｏｏｐクライアント
Ｈａｄｏｏｐを構成するコンポーネント
分散ファイルシステム：ＨＤＦＳ
分散リソース管理機構：ＹＡＲＮ
→ＨＤＦＳとＹＡＲＮの２つのコンポーネントにより
ＨＤＦＳとは
分散ファイルシステム
複数のサーバー １つのファイルシステム
→外から見ると１つの巨大なファイルシステム
ＨＤＦＳの舞台裏
・分散ファイルシステムの舞台裏では
各ブロックは複製され、スレーブサーバーに格納される
ブロック→こわれたとき、スループット向上などのため
レプリカは異なる３サーバーに配置される
ＭａｐＲｅｄｕｃｅとは
ＭａｐＲｅｄｕｃｅアルゴリズム
大量の件数のデータがあった時に複数ワーカーで並列に処理できるしくみ
例として：選挙の開票作業
第一段階
１）用紙を適当に３つ分ける
２）３人で並行して候補所ごとに仕分け
第二段階 ＭＡＰ処理
３）候補者ごとに用紙を集める
第三段階 Ｒｅｄｕｃｅ処理
４）３人で候補者ごとに枚数を数える
Ｍａｐ処理 Ｍａｐタスク
Ｍ人でやればＭ倍のスピード
（相互に影響を受けずに作業できる） ＭａｐＲｅｄｕｃｅジョブ
Ｒｅｄｕｃｅ処理 Ｒｅｄｕｃｅタスク
Ｎ人でやれば、約Ｎ倍のスピード
（相互に影響を受けずに作業できる）
ＭａｐＲｅｄｕｃｅ：ＹＡＲＮ上で動作
ＭａｐＲｅｄｕｃｅ＝ＹＡＲＮ上のアプリケーションの１つ
ＹＡＲＮとは
Yet Another Resource Negotiator
分散処理のリソースを制御する仕組み
Hadoopのスケーラビリティをさらに向上させる
柔軟なリソース制御によるスループット向上
MapReduce以外の分散処理を実行できる
ますたーサーバーの負荷軽減
ジョブ・アプリケーション管理のイメージ
Resource Manager
ＹＡＲＮでは
ジョブＸ→アプリケーション○
仕事（アプリケーション）の管理はメンバに依頼、とりまとめ役になる
任命されたApplication MasterはResourceManagerに進捗状況
タスクごとの進捗状況はApplication Masterがかんり、
ますたーサーバーの管理コストが減り、多数のメンバーを管理できる
→スケーラビリティ向上 １００００ノード程度のクラスタも構成可能に
ＨＤＦＳ
大量データをこうスループットに読み込める
サーバーが故障してもデータの安全性担保
サーバー数を増やせば格納できるデータ数はスケール
ＹＡＲＮ
リソースベースで処理を割り当て、こうスループット
サーバーが故障してもタスクが再実行されジョブは成功
サーバー数を増やせば、処理性能は基本スケールする
ＭａｐＲｅｄｕｃｅ
ＭａｐタスクＲｄｕｃｅタスクのみを指定すればあとはＹＡＲＮで
【Ｈａｄｏｏｐエコシステム】
２０１１後半からＹＡＲＮ→ＹＡＲＮあたりまえ
今、２．６．４と２．７．２
１１年目Ｈａｄｏｏｐ
・大容量、多件数データのバッチ処理基盤→仕組み・手法ともに成熟
クラウド
・MapReduceにこだわらない処理→ベースは感性、成長著しい
・新たなステージ→群雄割拠
ＳＱＬ on Hadoop
Ｈａｄｏｏｐエコシステムの拡大
Ａｐａｃｈｅ Ｓｐａｒｋ
・代表的なＨａｄｏｏｐエコシステム
Ａｐａｃｈｅ ＴＥＺ→Ｐｉｇとじゃもうごく
Ａｐａｃｈｅ Ｓｐａｒｋ
ＨＢＡＳＥ
Ａｐａｃｈｅ Ｉｍｐａｌｅ分散クエリ
Ａｐａｃｈｅ Ａｍｂａｒｉ
Ｈｕｅ
Ｋａｆｋａ（メッセージングシステム）
特に
・ＭａｐＲｅｄｕｃｅによらないあらたな分散処理
ＡｐａｃｈｅＳｐａｒｋ：コアを中心に成り立つライブラリ
大規模データの分散処理をオンメモリで実現
繰り返し処理に柔軟に対応→機械学習のクラスタリング
ＳＰＡＲＫ ＳＱＬ
ＳＰＡＲＫ Ｓｔｒｅａｍｉｎｇ
ＭＬＩＢ
ＧｒａｐｈＸ
Ｓｐａｒｋ最新動向
・フロントエンドとバックエンドの進化
フロントエンド：DataFrame API→処理高速化
バックエンド ：Project Tungsten→ＣＰＵの利用効率高める
Hive2.0 新たな時代のHive
・Apache Hive2.0 ：２０１６年２月リリース
機能・運用面・性能面の強化
ＣＬＩとしてBeeLineが標準に
SQL Ｓtandard Authorization
Hive Server２機能強化
ＬＬＡＰ
実行エンジンとしてMapReduceは非推奨に
HiveServer2
Ｗｅｂ画面：実行されたクエリの情報・実行計画
→メトリクスも
ＬＬＡＰ
秒未満のクエリ実行時間を実現するための仕組み
コンテナ立ち上げに時間がかかった
→ＹＡＲＮのリソース管理 ＹＡＲＮ上にデーモン
コンテナ：ＴＥＺ
ベータ版
【ＮＴＴデータの取り組み】
・Apache Hadoop PMC就任
・その他公開資料
http://www.slideshare.net/hadoopxnttdata
まとめ
・Hadoopは１台のマシンで扱えない規模の大量データを高速に処理するためのフレームワーク
・Hadoopエコシステムの開発の勢いは今も活発
・NTTデータもHadoopの開発に参画しています
Hadoopだけでなく、エコシステム全般
