昨日「TalendとActuateでビッグデータ資産をセキュアに活用する方法」を聞いてきた。
その内容をメモメモ
社内外のデータを徹底的に活用する！
～データドリブン経営を実現するTalendのご紹介～
■Talendについて
・２００５年 フランスにて２人のエンジニアが創業
・talendに投資してくれた人＝ビジネスオブジェクトの人
・前年度売り上げ成長率 １２８％
・２０００００００ダウンロード、日本でも１０００人
・ユーザー数１００万→４０００社が導入企業（商用：日本２２０社程度）
・Open ソースコード、ビジネス
→データインテグレーション
→コミュニティ４５０００人（４番目）
・１５００名の品質テスター
→社員は４００名：コミュニティでテストしてくれる
・５００＋のアダプター
・ユーザー
まぶちもーたー、三菱UFJインフォメーションテクノロジー
・設立依頼、データ統合にフォーカスしてきたビジネスをしてきた
Talend→I love Data
■データドリブン経営
ユーザーに聞けばわかる
・従来方式
月９方式
トレンド俳優なら視聴率がとれる
・かつ方法
お願いランキング
理論系系＋科学
かん、経験、度胸→仮説検証データ分析
データ処理
・仮説検証
データ処理、データ統合
・ビッグデータ
構造化データ＋質のよい非構造化データ
・てらでーたのステファン
大量
ビッグデータ→インタラクションデータ
→トランザクションが生まれるときのデータ
質が重要なのか
→そのとおり
■Talendはビッグデータを活用するデータドリブン経営を支援します
データに基づいたほうが勝てる
ビッグデータ活用の５つの課題
量と処理速度
ソースの拡大
複雑性
適時性
整合性
オープンデータ：政府が統計処理してしまう
事実
→
本質：質より量
■何からはじめる
データ収集
データ統合
データ分析
エンタープライズで使えるようにする：エンタープライズシリーズ
・組織の内外にあるデータ資産を統合
Hadoop,Nosql,Opendata,センサー
■他者がまねできないTalendの優位性
オープン性
先進性（YARNに対応）
ビジネスモデル
■BigDataのコミット
Easy To USE
Hadoop Power
・MapReduceの取り扱い、
データの収集
・Talend 5.4
・YARN→MapReduceの次
TalendはYARNの上でもネイティブに動作
・データ処理が飛躍的に早くなることで何が変わるのか
・Map処理、Reduce処理をシミュレートできる
■クラウド
・オンプレミス環境とクラウド環境の橋渡し
amazon
Treasure Data
との接続にも
・親和性が高いビジネスモデル
■まとめ
なぜTalendがデータドリブン経営？
当初からI love Data
なぜデータドリブン経営が重要
競争に勝てない
なぜ今データドリブン経営？
ビッグデータが扱いやすい
【ビッグデータインテグレーション製品】
■Talendのアプローチ
ベスト・オブ・ブリード
ユニファイドプラットフォーム
■コードジェネレーション
■標準、普及技術の準拠
■オープンソースと商用製品
ねてぃーざにも対応
Neo4j（グラフ型）
・Hadoop→DWHの最適化
・最適化
アーキテクチャ
ビル・インモン DWH
ツール
設計
技術
・Hadoop適用例
コールドデータの保存場所
ステージングエリアの適用（前処理）
ハイブリッドDWH（外部データ）
ETL処理基盤としての適用
・要求
プッシュダウン処理方式
データ量への拡張性
NoSQLサポート
双方向性
スキーマオンリードへの対応
データストアへの透明性
・Talendは？
２０１０年Hiveサポートから
GUIベースで
SOAP,REST、メッセージキューの連携
SAP Hanaのコンポーネントもあるよ！
ケルベロス認証のしかけ
■運用
１．Talend Studioでジョブ設定
２．共有リポジトリで自動格納
３．TAC(たれんどあどみにすとせんたー）
スケジュール、ジョブフロー
４．ジョブ実行
５．運用監視モジュールで監視
■ユーザー
・シティバンク
・ボーだフォン（UK CDR：通話履歴）
・フランス内務省（ドライバー）
■ビッグデータにTalendをつかうと・・
・自動運転を実現
・MapReduceをGUIで開発
・サブスクリプションモデルにより親和性の高い課金モデル
【Actuate
パーソナライズビジネス分析プラットフォーム】
インフォメーションデリバリー（ID)
ビジネスインテリジェンス（BI)
データアナリティクス（DA)
→パーソナライズビジネス分析プラットフォーム
通常は、OLAP
Actuateは、定型レポートを高速＋BI
→レポートが基本
レポート検索だから、高速化できる！
データアナリスティクス
■Actuate
・オープンソース BIRTベース
→eclipseで作れるよ！
互換があるよ！
・スケーラビリティも、
→ミッションクリティカルでも！
・ピュアブラウザでOK
→モバイルもOK、利用環境を問わない
■インストールするソフト
２つ
・デザイナーライセンス（BIRT Designer Pro)
→Eclipseで作る部分
・サーバーライセンス（BIRT iHub)
ブラウザで見る部分
■実績
・５００社以上
→みずほ信託銀行、三省堂、エステー、阪急交通等
■デモ
・サーバーからブラウザ表示
・PDF表示
・Excelに落とす
→データが非表示になっている
→アップロードもできる
・カスタマイズ
→ピボットテーブルも作れる
・ダッシュボード
・作り方
・データソース：どこからとってくるか
・データセット：SQLとか
・ドラッグアンドドロップでもOK
・データ分析
【エアー社のプレゼン】
■クラウドサービスの課題
・データ大丈夫か？
→知らぬ間に公開
・セキュリティに不安、個人情報、機密情報の所在
→Googleカレンダー情報を公開していた
クライアント側で暗号化：問題
wise encrypt
検索、ソート可能な文字の暗号化技術を提供するライブラリ
