ウィリアムのいたずらの、まちあるき、たべあるきーPART2

gooブログ「ウィリアムのいたずらの、まちあるき、たべあるき」がお引越ししてきました

SPSSで機械学習させたものをWebサービスで公開する方法聞いてきた

5月19日、

SPSSナイト SPSSとPythonでデータサイエンス入門


を聞いてきたのでメモメモ



■SPSSで理解するデータ分析入門
SPSSもでらーはどういうものかをわかってもらう
・モデラー:業務向け(研究者より)
・データサイエンス:データに向き合って、業務的な価値を出せる
・百貨店の店長さんになったとして
  トランザクションデータ
 RFMからもとめる
  レコード集計で
    キーフィールド:顧客ID
    集計フィールド:
      1行目  金額  合計
      2行目  購入日 最大

  RFM集計で

 フラグ設定
  買った部門がわかる

・どんなふうに特徴量
  トライアンドエラー

・SQLで書ける:SQLを勝手に書いてくれる
  →自動発行

・Pythonでも書ける
 →繰り返しとか
 →Pythonの機械学習を呼び出すこともできる

・分業がうまくいくかどうかを分ける

・業務に実装できる

・人と買った商品を決定木で機械学習させる
  →それをルールに落とせる

(1)プログラミングレスで
(2)ぱっとみ、プロセスがわかる
(3)業務適用

■SPSS Modelerハンズオン
ノード
 データ読む:まる
 データ処理:六角形
 グラフ表示:三角形
 統計処理:五角形
→ノードの形がちがう
 ドラッグ&ドロップで操作する
 CSVファイルをドラッグ&ドロップすると、ノードになる
 (ノードからファイルを選ぶこともできる)

 データ型、値の読み込み

フローのつくりかた
 出力:テーブル(テーブル形式で表示)
 処理は挟み込むことができる
 ALTキーを押してダブルクリックすると、抜き出す
 (DELキーだと、削除される)

 データ検査:ヒストグラム・棒グラフで表示

 Webグラフ
  →一緒に買われているものが太い線になる

 新しくフラグを作る:派生フィールド
  真になる条件
 データ型を入れておく
 ロールを「なし」にすると、分析から除外できる

モデリング手法
 C5.0にこんかいは、する
 モデルナゲット→決定木ができている

評価
制度分析を配置、一致行列を選ぶ

ユーザー入力ノードの生成
Webサービスにできる

■SPSSナイト DataScienceExperienceハンズオン
・DataScienceExperience(DSX)紹介
 先進的なオープンソースを使いこなす分析スペシャリスト向け環境
 業務に展開

・ファイルダウンロード

・ログオン
 IBM DSXで検索
 SignIn
 Notebook作成、ダウンロードファイルを読み込む
 Create Notebookをクリック、ちょっとまつ

 INとOUTがセットになっている

 実行はボタンを押せば進む

 読み込み
  10
  01  ボタンをクリック、出てくるところにファイルを落とす

 あとは実行するだけ

・やってること
  データフレーム取り込み 5行目までだす
  データを理解する:
   ディスクライブ
   カテゴリデータ
  ヒストグラムをかく
  項目間の関係:相関、クロス集計
  決定木で予測
    そのまえにラベルエンコーダーで0,1
  決定木の視覚化

■モデルを手軽にWebAPI化
 SPSS
  金色ダイアモンド右クリック「スコアリング枝として使用」にチェックを入れる
 IBM Watsonマシーンラーニング
   SPSSの.strファイルをアップロードする
 REST APIができているので、それを呼び出す。