Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2019-7-19-data_ml_engineering

 2019-7-19-data_ml_engineering

Avatar for yudeayase

yudeayase

July 19, 2019
Tweet

Other Decks in Programming

Transcript

  1. Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine

    Clients サービスのバックエンド or フロントエンドなど…
  2. Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine

    Clients サービスのバックエンド or フロントエンドなど… 前処理 & 予測値整形
  3. Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine

    Clients サービスのバックエンド or フロントエンドなど… 予測を実際に行うAPI
  4. Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine

    Clients サービスのバックエンド or フロントエンドなど… こいつの面倒は みないといけない!
  5. 前処理という業〜カルマ〜 { “年齢”: 34, “性別”: 男, “媒体”: “Twitter”, “画像”: base64...

    ... } { “年齢”: [0, 0, 1, 0, 0, 0, 0], “性別”: [1, 0], “媒体”: [1, 0 ,0, 0], “画像”: [[255.0, 255.0, ...]] ... } モデルへ
  6. 前処理という業〜カルマ〜 モデルへ この変換をFlaskアプリケーションが担う { “年齢”: 34, “性別”: 男, “媒体”: “Twitter”,

    “画像”: base64... ... } { “年齢”: [0, 0, 1, 0, 0, 0, 0], “性別”: [1, 0], “媒体”: [1, 0 ,0, 0], “画像”: [[255.0, 255.0, ...]] ... }
  7. 前処理という業〜カルマ〜 モデルへ この変換をFlaskアプリケーションが担う ほとんどこのために1アプリケーション構築している { “年齢”: 34, “性別”: 男, “媒体”:

    “Twitter”, “画像”: base64... ... } { “年齢”: [0, 0, 1, 0, 0, 0, 0], “性別”: [1, 0], “媒体”: [1, 0 ,0, 0], “画像”: [[255.0, 255.0, ...]] ... }
  8. Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine

    Clients サービスのバックエンド or フロントエンドなど… こいつの世話分、 損してない?
  9. カテゴリ値の”翻訳” { “年齢”: 34, “性別”: 男, “媒体”: “Twitter”, ... }

    { “年齢”: [0, 0, 1, 0, 0, 0, 0], “性別”: [1, 0], “媒体”: [1, 0 ,0, 0], ... } 人間の読めるものから、モデルの読めるものへの変換 One-hot or Multi-hot encoding
  10. 画像の”翻訳” { “画像”: base64... ... } { “画像”: [[255.0, 255.0,

    ...]] ... } JSONで画像情報の実態を送る場合base64でエンコードを送ることがある デコード & 数値化が必須
  11. Our System フルマネージド機械学習API Flask on GKE 予測モデル on ML Engine

    Clients サービスのバックエンド or フロントエンドなど…
  12. 本当にハッピーなのか? - モデルにくっつける演算はTensorFlowにベタベタ - ML Engineに依存ベタベタ - AWS SageMakerもある -

    GCPに依存しまくってていいのかの判断 - TensorFlow2.0 - 朗報はKerasでもfeature columnsが使える - Serving inputは確実に変更が必要