5月19日、
SPSSナイト SPSSとPythonでデータサイエンス入門
を聞いてきたのでメモメモ
■SPSSで理解するデータ分析入門
SPSSもでらーはどういうものかをわかってもらう
・モデラー:業務向け(研究者より)
・データサイエンス:データに向き合って、業務的な価値を出せる
・百貨店の店長さんになったとして
トランザクションデータ
RFMからもとめる
レコード集計で
キーフィールド:顧客ID
集計フィールド:
1行目 金額 合計
2行目 購入日 最大
RFM集計で
フラグ設定
買った部門がわかる
・どんなふうに特徴量
トライアンドエラー
・SQLで書ける:SQLを勝手に書いてくれる
→自動発行
・Pythonでも書ける
→繰り返しとか
→Pythonの機械学習を呼び出すこともできる
・分業がうまくいくかどうかを分ける
・業務に実装できる
・人と買った商品を決定木で機械学習させる
→それをルールに落とせる
(1)プログラミングレスで
(2)ぱっとみ、プロセスがわかる
(3)業務適用
■SPSS Modelerハンズオン
ノード
データ読む:まる
データ処理:六角形
グラフ表示:三角形
統計処理:五角形
→ノードの形がちがう
ドラッグ&ドロップで操作する
CSVファイルをドラッグ&ドロップすると、ノードになる
(ノードからファイルを選ぶこともできる)
データ型、値の読み込み
フローのつくりかた
出力:テーブル(テーブル形式で表示)
処理は挟み込むことができる
ALTキーを押してダブルクリックすると、抜き出す
(DELキーだと、削除される)
データ検査:ヒストグラム・棒グラフで表示
Webグラフ
→一緒に買われているものが太い線になる
新しくフラグを作る:派生フィールド
真になる条件
データ型を入れておく
ロールを「なし」にすると、分析から除外できる
モデリング手法
C5.0にこんかいは、する
モデルナゲット→決定木ができている
評価
制度分析を配置、一致行列を選ぶ
ユーザー入力ノードの生成
Webサービスにできる
■SPSSナイト DataScienceExperienceハンズオン
・DataScienceExperience(DSX)紹介
先進的なオープンソースを使いこなす分析スペシャリスト向け環境
業務に展開
・ファイルダウンロード
・ログオン
IBM DSXで検索
SignIn
Notebook作成、ダウンロードファイルを読み込む
Create Notebookをクリック、ちょっとまつ
INとOUTがセットになっている
実行はボタンを押せば進む
読み込み
10
01 ボタンをクリック、出てくるところにファイルを落とす
あとは実行するだけ
・やってること
データフレーム取り込み 5行目までだす
データを理解する:
ディスクライブ
カテゴリデータ
ヒストグラムをかく
項目間の関係:相関、クロス集計
決定木で予測
そのまえにラベルエンコーダーで0,1
決定木の視覚化
■モデルを手軽にWebAPI化
SPSS
金色ダイアモンド右クリック「スコアリング枝として使用」にチェックを入れる
IBM Watsonマシーンラーニング
SPSSの.strファイルをアップロードする
REST APIができているので、それを呼び出す。