Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
受託分析屋がKubeflowを使って思うこと_KubeflowMeetup_1.pdf
Search
Kazusa
September 26, 2018
Technology
2
2.4k
受託分析屋がKubeflowを使って思うこと_KubeflowMeetup_1.pdf
Kubeflowでモデルをデプロイする時に必要になってくる、学習(実験)の管理やモデル管理について話しました
Kazusa
September 26, 2018
Tweet
Share
More Decks by Kazusa
See All by Kazusa
20190208_MLSE_NeurIPS2018_tkazusa.pdf
tkazusa
1
760
機械学習どこから手をつけよう? Google DevFest 2018 Tokyo
tkazusa
2
1.3k
機械学習システム開発及び運用にかかる 不確実を考慮した要件定義の考察および提案
tkazusa
0
340
【論文読み】GCVAE-GAN Fine-Grained Image Generation through Asymmetric Training
tkazusa
0
130
【論文読み】Graph Convolutional Networks for Classification with a Structured
tkazusa
0
67
Other Decks in Technology
See All in Technology
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
470
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
taishin
1
160
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
170
事業成長の裏側:エンジニア組織と開発生産性の進化 / 20250703 Rinto Ikenoue
shift_evolve
PRO
2
22k
赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
ivry_presentationmaterials
2
370
Flutter向けPDFビューア、pdfrxのpdfium WASM対応について
espresso3389
0
130
Getting to Know Your Legacy (System) with AI-Driven Software Archeology (WeAreDevelopers World Congress 2025)
feststelltaste
1
130
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
210
Sansanのデータプロダクトマネジメントのアプローチ
sansantech
PRO
0
160
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
Enhancing SaaS Product Reliability and Release Velocity through Optimized Testing Approach
ropqa
1
230
Should Our Project Join the CNCF? (Japanese Recap)
whywaita
PRO
0
340
Featured
See All Featured
GraphQLとの向き合い方2022年版
quramy
49
14k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Code Reviewing Like a Champion
maltzj
524
40k
Designing for humans not robots
tammielis
253
25k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
6
300
Become a Pro
speakerdeck
PRO
29
5.4k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Transcript
受託分析屋がKubeflow を使って思うこと 2018/9/26 Kubeflow Meetup #1 (Cloud Native Meetup Tokyo
#5) Taketoshi Kazusa @tkazusa
自己紹介 • 上総 虎智 Taketoshi Kazusa • Github: tkazusa /
Twitter: @tkazusa • BrainPad Inc. 分析官 • 最近のおもちゃ Kubeflow 0.1
自己紹介 • 上総 虎智 Taketoshi Kazusa • Github: tkazusa /
Twitter: @tkazusa • BrainPad Inc. 分析官 • 最近のおもちゃ
今日のお題 KubeCon CloudNativeCon Europe 2018
今日のお題
今日のお題
Continuous integration & deployment of models • Every night my
model is automatically retrained on my latest logs • If the new model is better it is automatically pushed into production
MLシステム継続的デプロイこんな感じ? アプリケーション エンジニア データサイエンティスト MLエンジニア Experiment Jobs (Training) ML Service
Services App image ML Training image ユーザー ・data ・model ・config Storage k8a k8a Container Repository
MLシステム継続的デプロイこんな感じ? Experiment Jobs (Training) ML Service Services App image ML
Training image ・data ・model ・config Storage k8a k8a Container Repository アプリケーション エンジニア データサイエンティスト MLエンジニア ユーザー
MLシステム継続的デプロイこんな感じ? Experiment Jobs (Training) ML Service Services App image ML
Training image ・data ・model ・config Storage k8a k8a Container Repository アプリケーション エンジニア データサイエンティスト MLエンジニア ユーザー
なんか良さげ けど、これで全部いける?
Serving自動でいいんでしたっけ? Experiment Jobs (Training) ML Service Services App image ML
Training image ・data ・model ・config Storage k8a k8a Container Repository アプリケーション エンジニア データサイエンティスト MLエンジニア ユーザー
ワンクッション挟みたくなる Experiment Jobs (Training) ML Service Services App image ML
Training image ・data Storage k8a k8a ・メトリクスひとつじゃない ・セグメントごとの指標 ・機械学習の公平性 ・学習(実験)時の試行錯誤の 結果を一覧で見たい ・model ・config Serving model ・model ・config ・model ・config Container Repository アプリケーション エンジニア データサイエンティスト MLエンジニア ユーザー
ワンクッション挟みたくなる アプリケーション エンジニア データサイエンティスト MLエンジニア Experiment Jobs (Training) ML Service
Services App image ML Training image ユーザー ・data Storage k8a k8a ・メトリクスひとつじゃない ・セグメントごとの指標 ・機械学習の公平性 ・Train時の試行錯誤の結果を 一覧で見たい ・model ・config Serving model ・model ・config ・model ・config Experiment Management
ワンクッション挟みたくなる アプリケーション エンジニア データサイエンティスト MLエンジニア Experiment Jobs (Training) ML Service
Services App image ML Training image ユーザー ・data Storage k8a k8a ・メトリクスひとつじゃない ・セグメントごとの指標 ・機械学習の公平性 ・Train時の試行錯誤の結果を 一覧で見たい ・model ・config Serving model ・model ・config ・model ・config IntegrateされるTFMA 一瞬、話題になったCometML 話題にすらならいmlflow
TensorFlow Model Analysis (TFMA) • モデルをデプロイする場合に必要な評価を探索的にも行える • ああ
Experiment management tools • いつ、だれが、どのスクリプト、どんなハイパラで学習させて、ど んな評価になったのか?が一覧性を持って管理したい • なんなら、必要に応じて検索できて欲しい
Experiment management tools • いつ、だれが、どのスクリプト、どんなハイパラで学習させて、ど んな評価になったのか?が一覧性を持って管理できる • 必要に応じて検索ができる
Experiment management tools • いつ、だれが、どのスクリプト、どんなハイパラで学習させて、ど んな評価になったのか?が一覧性を持って管理できる • 必要に応じて検索ができる Katibでいける? 大嶋さんに聞き
たくなった。
Experiment management tools • いつ、だれが、どのスクリプト、どんなハイパラで学習させて、ど んな評価になったのか?が一覧性を持って管理できる • 必要に応じて検索ができる デ、データ。。。
Experiment management tools • いつ、だれが、どのスクリプト、どんなハイパラで学習させて、ど んな評価になったのか?が一覧性を持って管理できる • 必要に応じて検索ができる
欲しくない? 僕は欲しい。
人間挟んでServingで終わり? アプリケーション エンジニア データサイエンティスト MLエンジニア Experiment Jobs (Training) ML Service
Services App image ML Training image ユーザー ・data Storage k8a k8a ・model ・config Serving model ・model ・config ・model ・config Container Repository
Serveし終わったモデルってどうしてる? アプリケーション エンジニア データサイエンティスト MLエンジニア Experiment Jobs (Training) ML Service
Services App image ML Training image ユーザー ・data Storage k8a k8a ・model ・config Serving model ・model ・config ・model ・config Serving model Serving model Serving model ・モデルの挙動に対する説明責任 ・機械学習の公平性 ・再現性の担保 ・過去のモデル/データ/コ ンフィグの版管理 Container Repository
過去に作ってServeしたモデルってどうしてる? アプリケーション エンジニア データサイエンティスト MLエンジニア Experiment Jobs (Training) ML Service
Services App image ML Training image ユーザー ・data Storage k8a k8a ・model ・config Serving model ・model ・config ・model ・config Serving model Serving model Serving model ・モデルの挙動に対する説明責任 ・機械学習の公平性 ・再現性の担保 ・過去のモデル/データ/コ ンフィグの版管理 Model Management
過去に作ってServeしたモデルってどうしてる? アプリケーション エンジニア データサイエンティスト MLエンジニア Experiment Jobs (Training) ML Service
Services App image ML Training image ユーザー ・data Storage k8a k8a ・model ・config Serving model ・model ・config ・model ・config Serving model Serving model Serving model ・モデルの挙動に対する説明責任 ・機械学習の公平性 ・再現性の担保 ・過去のモデル/データ/コ ンフィグの版管理 まだない?
試行錯誤中。
まとめ • “Continuous integration & deployment of models“をシンプルに実 装できるならまじ良さげ •
けど、毎日再学習&良ければPushが最適解じゃ無い場合もある • Experiment ManagementやModel Management、Model Analysis に期待しているけど、まだもうちょっと先になるのかな • もしくは他のツールとの組み合わせ?試行錯誤中
ありがとうございました http://www.brainpad.co.jp/recruit/ 株式会社ブレインパッドの採用情報見て下さい
参考情報 • https://schd.ws/hosted_files/kccnceu18/d4/Kubeflow_Deep_Dive.pdf • https://medium.com/tensorflow/introducing-tensorflow-model- analysis-scaleable-sliced-and-full-pass-metrics-5cde7baf0b7b • https://www.mlflow.org/docs/latest/tracking.html#tracking-ui