３月２１日
OSSユーザーのための勉強会 ＜ OSS X Users Meeting ＞ #18 AI / Deep Learning
を聞いているんだけど、前半の休憩時間までをめも
途中から行ったので、はじめのほうは切れている）
■途中から
・AIとは何か
ダートマス会議から６０周年
強いAI,弱いAI
・AIの簡単な歴史
第一次AIブーム
第二次AIブーム
AI冬の時代
第三次AIブーム
データマイニング・ディープラーニング（応用中心）
統計的機械学習が牽引
・第三次ブームのAIは何が違うのか
１．統計的機械学習デー玉イニング
２．ニューラルネットワークの復権
真相学習
３．AI実用化ブレークの背景
ビッグデータ、IoT
・研究としてのAI
メインストリームでは論理・記号・可読可能な知識を扱うAI
・機械学習MLはAIのごく一部
さらにニューラルネットワークはMLの一部
さらにディープラーニングはNNの意一部
・AI＝シープラーニングというのは間違い
・NNとAIの関係
黎明期は蜜月
８０年代のAIブームでは反目
最近ディープラーニングの流行とともに表面的な蜜月
・AIここ数年のトピック－第三次AIブーム
統計的機械学習、データマイニング
機械学習
教師あり分類学習、学習行動（強化学習）
教師なしクラスタリング
半教師あり学習→クラスタあり
トランスタクティブ学習
（教師あり）分類学習：データを暮らすA,Bに分類したい
訓練データ－機械学習アルゴリズム－判別学習
・統計的機械学習
応用数学に基づく機械学習
＝統計数学、OR
基本的な枠組み
学習問題＝最適化問題に変換して解く
目的関数、制約式で形式化
・統計的機械学習の例：SVM
応用数学に基づく機械学習
例：SVM（サポートベクターマシン）
理論的基盤は明確＆経験的にも高性能
早く解けるし（ラグランジュ乗数法）、いいことを証明
ドメインによっては、ディープラーニングよりいい精度
非線形：カーネルトリック
行動学習
Q-learning,TDA・・・
教師あり学習
SVM、K-NN、ナイーブベイズ、Case-Based Reasoning、ニューラルネットワーク
アンサンブル学習：弱学習き：ランダムフォレスト、バギング
決定機
教師なし
k-means,k-means++,階層的クラスタリング
半教師あり学習
トランスタクティブ学習
進化学習
クラシファイアシステム
対話しながら
・ディープラーニングDL VS 統計的機械学習SML
・適切な特徴量が得られた場合
DLでもSMLでもいい勝負
適切な特徴：画像ではSIFT+bag of featureなど
→いきなりRAWデータ
いい特徴量がわからない場合
最初の２、３層で特徴量が学習できる場合
簡単に使え、そこそこの性能はDL,学習できない場合も多い
うまくいく場合、お手軽に使える
今後はDLとSMLの定量的組織的パフォーマンス比較が必須
DL偏重はよくない
有効な特徴の有無を元に、SMLとDLを使い分けるべき
ある程度のマンパワーとマシンパワーが必要
・昔
アルゴリズム５つ書かないといけなかった
１０年前くらいからアルゴリズムをライブラリにして無料公開
DL,SMLともPythonを中心にライブラリ環境が充実 SMLはRでも
・しかしながら
ライブラリは自由度が低い
中身見えない
制限されたハイパーパラメタ
・懸念
アルゴリズムを理解せずに使ってしまう
本当に上手に使えるのか
・NNの復権 ディープラーニング
脳の視覚野の処理を改良
ネオコグニトロン（福島１９７９）
・成功例
１．一般物体認識
２．テレビゲーム（DQN）
３．Googleの猫
４．AlphaGo
・DL成功例：一般物体認識 １０００、２０００の分類
IMAGENET
・AlphaGo
ディープラーニングはごく一部
評価関数の学習の一部に使われている
強化学習とモンテカルロ木探索
・ディープラーニングは万能ではない
おびただしい数のパラメータ
黒魔術的チューニング
ノード数、重み初期化
膨大な訓練データを持っている会社しか使えない
理論的な基盤の欠如：日本のNN研究者は敬遠気味
うまくいく・いかないか予測不能
・失敗例： ないている人はいる
「Deep Learningをサービスに導入したい！」人が泣かないために知っておきたいこと
グーグルにも分からない機械学習やディープラーニングの使い道
・AIの得意不得意
得意
静的データ、閉じた世界（室内○、屋外X)
不得意
物理世界、ロボット DARPA ロボティクスチャレンジ
優勝したものでも５倍、８倍速しないと・・
・自動車の自動走行
テスラ車の最初の事故：よそうしてないこと
アドバンスドチェス
カスパロフ
→ゲームは閉じた世界
・協調する人とAI：インタラクティブAI
人がロボットに仕事を教える
■Caffeの特徴と最近の動向～CNN RNN～
・自己紹介
・Caffeとは
・そもそもDeepLearning
単純パーセプトロン：一定の閾値で発火
AND,OR,NAND→重みとバイアス変化で論理回路を変えられる
→線形のみ
多層パーセプトロン
XORも表現できる
ニューラルネットワーク
入力層 隠れ層（中間層） 出力層
さまざまな活性化関数
step
シグモイド
ReLU（れる）
出力層では
softmaxも
逆方向に誤差を伝播：バックプロパゲーション
・Caffe
GPUとCPUをシームレス
AWSを利用した構成の例
動作環境が豊富；Ubuntu、OpenCV
コミュニティが活発
レファレンスモデルが豊富：Model Zooというフレームワーク
ドキュメント充実
おもに画像分類で利用される
畳み込みニューラルネットワークに最適化
Cifar-10がはやっていたことに
特徴抽出と結合・識別・出力
特徴抽出：畳み込み層とプーリング層
畳み込み層（Convolution層）２次元配列を数値化
→活性化関数ReLU
プーリング層
→max pool関数
CNNは２次元配列で表現できるデータなら適用可能
→時系列データも画像で分類してみては
Caffeのとくちょうではないこと
・Caffeでしかないことは基本的にはない
・後発のライブラリに比べると抽象度低い
・環境構築
・分散処理が難しい：ネットワーク厳しい
CaffeでCNNのながれ
①データセットの順b儀
②データの格納 ｌｍｄｂ
③パラメータ設定
④学習実行
⑤学習モデルの利用
例Facebook,adobe,Yahoo Japan
・できること
画像分類
物体検出
ピクセル予測による領域分割
・物体検出
R-CNN
領域を区切ってCNNを利用して
Faster-RCNN
・ピクセル予測による領域分析
FCN
スベテコンボリューション層で行う
Caffeの最近の動向
・ここ最近のNN界のトレンド
再帰型ニューラルネットワーク（RNN)
時系列データ、自然言語処理
LSTM：長い記憶
→Google翻訳の進化
・CaffeでRNN
CNN+RNNの組み合わせ
Visual Sequence Task
人が話している
Image Description
Video Description
・画像とキャプションのデータセット
