Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2019-7-19-data_ml_engineering
Search
yudeayase
July 19, 2019
Programming
0
750
2019-7-19-data_ml_engineering
yudeayase
July 19, 2019
Tweet
Share
Other Decks in Programming
See All in Programming
Navigation 2 を 3 に移行する(予定)ためにやったこと
yokomii
0
350
FindyにおけるTakumi活用と脆弱性管理のこれから
rvirus0817
0
540
スケールする組織の実現に向けた インナーソース育成術 - ISGT2025
teamlab
PRO
2
170
ぬるぬる動かせ! Riveでアニメーション実装🐾
kno3a87
1
230
個人軟體時代
ethanhuang13
0
330
Navigating Dependency Injection with Metro
zacsweers
3
3.5k
楽して成果を出すためのセルフリソース管理
clipnote
0
190
OSS開発者という働き方
andpad
5
1.7k
Reading Rails 1.0 Source Code
okuramasafumi
0
250
デザイナーが Androidエンジニアに 挑戦してみた
874wokiite
0
550
実用的なGOCACHEPROG実装をするために / golang.tokyo #40
mazrean
1
300
ユーザーも開発者も悩ませない TV アプリ開発 ~Compose の内部実装から学ぶフォーカス制御~
taked137
0
190
Featured
See All Featured
Balancing Empowerment & Direction
lara
3
630
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Site-Speed That Sticks
csswizardry
10
820
We Have a Design System, Now What?
morganepeng
53
7.8k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Practical Orchestrator
shlominoach
190
11k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
A Modern Web Designer's Workflow
chriscoyier
696
190k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Raft: Consensus for Rubyists
vanstee
140
7.1k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Transcript
Google Cloud ML Engine に浸かってみる @yudeayase
真の題名
フルマネージドで 楽したい! @yudeayase
機械学習予測側のお話
予測サーバーの運用を 楽にしようと思いました
何を作っていたのか? - 機械学習を使った広告効果の予測用API - 予測用のパラメーターをインプットとして予測値を返す - なるべくわかりやすいインターフェース - リクエストが数字の羅列とかしんどいよね
Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine
Clients サービスのバックエンド or フロントエンドなど…
Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine
Clients サービスのバックエンド or フロントエンドなど… 前処理 & 予測値整形
Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine
Clients サービスのバックエンド or フロントエンドなど… 予測を実際に行うAPI
What is ML Engine? モデルの学習からそれを用いた予測サーバーを1サービスで構築可能
What is ML Engine? - モデルの学習からデプロイまで可能 - デプロイしたモデルですぐにオンライン予測可能 - モデルが重い場合がバッチ予測もできる
ん?
What is ML Engine? - モデルの学習からデプロイまで可能 - デプロイしたモデルですぐにオンライン予測可能 - モデルが重い場合がバッチ予測もできる
None
フルマネージドサーバーレス環境
Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine
Clients サービスのバックエンド or フロントエンドなど… こいつの面倒は みないといけない!
前処理という業〜カルマ〜 { “年齢”: 34, “性別”: 男, “媒体”: “Twitter”, “画像”: base64...
... } { “年齢”: [0, 0, 1, 0, 0, 0, 0], “性別”: [1, 0], “媒体”: [1, 0 ,0, 0], “画像”: [[255.0, 255.0, ...]] ... } モデルへ
前処理という業〜カルマ〜 モデルへ この変換をFlaskアプリケーションが担う { “年齢”: 34, “性別”: 男, “媒体”: “Twitter”,
“画像”: base64... ... } { “年齢”: [0, 0, 1, 0, 0, 0, 0], “性別”: [1, 0], “媒体”: [1, 0 ,0, 0], “画像”: [[255.0, 255.0, ...]] ... }
前処理という業〜カルマ〜 モデルへ この変換をFlaskアプリケーションが担う ほとんどこのために1アプリケーション構築している { “年齢”: 34, “性別”: 男, “媒体”:
“Twitter”, “画像”: base64... ... } { “年齢”: [0, 0, 1, 0, 0, 0, 0], “性別”: [1, 0], “媒体”: [1, 0 ,0, 0], “画像”: [[255.0, 255.0, ...]] ... }
Our System 作っていた機械学習API Flask on GKE 予測モデル on ML Engine
Clients サービスのバックエンド or フロントエンドなど… こいつの世話分、 損してない?
せっかくのマネージドサービスを 使い倒してなくない?
どうすればいいのか?
前処理を含めて「モデル」をつくる 前処理 予測モデル
前処理を含めて「モデル」をつくる 前処理 予測モデル
実際できるの?
カテゴリ値の”翻訳” { “年齢”: 34, “性別”: 男, “媒体”: “Twitter”, ... }
{ “年齢”: [0, 0, 1, 0, 0, 0, 0], “性別”: [1, 0], “媒体”: [1, 0 ,0, 0], ... } 人間の読めるものから、モデルの読めるものへの変換 One-hot or Multi-hot encoding
Feature columns
くわしくは https://www.tensorflow.org/guide/feature_columns
画像の”翻訳” { “画像”: base64... ... } { “画像”: [[255.0, 255.0,
...]] ... } JSONで画像情報の実態を送る場合base64でエンコードを送ることがある デコード & 数値化が必須
モデルのserving input
モデルのserving input 学習済みモデル serving input - 画像のデコード - 画像の数値化 -
正規化 固めてML Engineに乗せられるモデルを出力
All in one model 学習済みモデル 数値input エンコーディングinput 画像input
Our System フルマネージド機械学習API Flask on GKE 予測モデル on ML Engine
Clients サービスのバックエンド or フロントエンドなど…
Our System フルマネージド機械学習API 予測モデル on ML Engine Clients サービスのバックエンド or
フロントエンドなど…
世話をするモジュールが減った!
Happy!
本当にハッピーなのか? - モデルにくっつける演算はTensorFlowにベタベタ - ML Engineに依存ベタベタ - AWS SageMakerもある -
GCPに依存しまくってていいのかの判断 - TensorFlow2.0 - 朗報はKerasでもfeature columnsが使える - Serving inputは確実に変更が必要
Thank you !