Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kubeflow Pipelines on the Front Line
Search
Asei Sugiyama
February 16, 2022
Technology
0
820
Kubeflow Pipelines on the Front Line
第16回 MLOps 勉強会(Online) の登壇資料です
Asei Sugiyama
February 16, 2022
Tweet
Share
More Decks by Asei Sugiyama
See All by Asei Sugiyama
生成 AI の評価方法
asei
8
1.3k
対話品質の評価に向き合う
asei
4
340
Kubeflow Pipelines v2 で変わる機械学習パイプライン開発
asei
5
930
遊戯王 AI は次世代のグランドチャレンジになりうるか
asei
0
190
Vertex AI ではじめる MLOps
asei
3
120
MLSE 機械学習オペレーション WG と LangCheck の活動に関するお礼
asei
1
66
Vertex AI Feature Store に 機械学習エンジニアが涙した 理由
asei
2
1.8k
Cloud Next '23 から考える LLMOps
asei
3
870
Azure Architecture Center における MLOps Framework の概要と比較
asei
2
900
Other Decks in Technology
See All in Technology
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
280
サービス開発を前に進めるために 新米リードエンジニアが 取り組んだこと / Steps Taken by a Novice Lead Engineer to Advance Service Development
nologyance
0
180
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
170
Git 研修 Basic【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
310
[2024最新版]AWS Control Towerを使ったセキュアなマルチアカウント環境の作り方
hiashisan
0
270
運用改善、不都合な真実 / 20240722-ssmjp-kaizen
opelab
17
8.4k
「単なる OAuth 2.0 を認証に使うと、車が通れるほどのどでかいセキュリティー・ホールができる」のか検証してみた
terara
0
380
AWSでRAGを作る法方
sonoda_mj
1
140
AWSサービスメニュー開発をしていてAWSを好きだ!と感じた瞬間
toru_kubota
0
130
ここがすごいよ! AWS Systems Manager!
saichan11
0
1.8k
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
1
760
Featured
See All Featured
A Tale of Four Properties
chriscoyier
155
22k
Creatively Recalculating Your Daily Design Routine
revolveconf
214
11k
Leading Effective Engineering Teams 2024
addyosmani
3
300
Atom: Resistance is Futile
akmur
261
25k
KATA
mclloyd
20
13k
In The Pink: A Labor of Love
frogandcode
139
22k
Visualization
eitanlees
139
14k
Building a Scalable Design System with Sketch
lauravandoore
458
32k
Imperfection Machines: The Place of Print at Facebook
scottboms
262
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
662
120k
How STYLIGHT went responsive
nonsquared
93
5k
Fashionably flexible responsive web design (full day workshop)
malarkey
399
65k
Transcript
Kubeflow Pipelines on the Front Line Asei Sugiyama
主旨 Kubeflow Pipelines の最前線の様子をお届けします
TOC Source <- Pickup User Community
Source GitHub kubeflow/pipelines GitHub Releases PyPI GitHub Projects Google Group
Slack
GitHub kubeflow/pipelines SDK とバックエンドとフロ ントエンドの実装が含まれ るリポジトリ サンプルコードやコミュニ ティ提供のコンポーネント も含まれる でかい
GitHub Releases バックエンドのリリースが されると更新される
PyPI SDK の更新は PyPI を見る バックエンドとの更新とは 独立 ナンバリングも別
GitHub Projects 主要なProject KFP v2 KFP v2 compatible mode "KFP
Runtime Triage" がえらいこ とになっている
Google Group (1/2) 最重要 kubeflow-
[email protected]
m 誰でも加入可能
Google Group (2/2) 2週に1度打ち合わせが行わ れ、ここで意思決定がなさ れる 議事録が展開される (http://bit.ly/kfp-meeting- notes) 録画も展開される
Slack kubeflow.slack.com #kubeflow-pipelines #platform-aws #platform-gcp たまにアンケートをやって いる
TOC Source Pickup <- User Community
Pickup KFP SDK 2.0: API Experience & Breaking Changes (2021-09-15)
KFP SDK v2.0 Release Plan (2021-11-10) KFP v2 Component YAML design (2021-11-10) Introduction to Machine Learning Exchange and component catalog (2022-01-19) Kubeflow Pipelines support and new features in Cloud Pipelines Editor (2022-02-16)
KFP SDK 2.0: API Experience & Breaking Changes (1/2) 2021-09-15
時点で共有されたドキュメント 将来に備えるため、一度読んでおいたほうが良い
KFP SDK 2.0: API Experience & Breaking Changes (2/2) このあたりは知っておくと平穏が訪れそう
KFP SDK v2.0 Release Plan (1/2) 2021-11-10 時点で共有されたドキュメント 開発体制の性質上、時期を明言するものではない点に注意
KFP SDK v2.0 Release Plan (2/2) 内容はこれだけ (2021年11月とは一体…?)
KFP v2 Component YAML design (1/3) 2021-11-10 に共有されたドキュメント 個人的には驚愕した内容
KFP v2 Component YAML design (2/3) ComponentSpec: コンポー ネントの入出力を定義する YAMLファイル
SDK v2.0 で予定している破 壊的な変更を記述 KFP の黎明期 (v0.x) から用 いられていたのでやむなし か
KFP v2 Component YAML design (3/3) タイムラインを見て絶句しました (2021年11月時点)
Introduction to Machine Learning Exchange and component catalog (1/3) IBM
勢から 2022-01-19 時 点で共有された事項 リポジトリ machine- learning-exchange/mlx
Introduction to Machine Learning Exchange and component catalog (2/3) バックエンドは
Tekton リポジトリも別: kubeflow/kfp-tekton
Introduction to Machine Learning Exchange and component catalog (3/3) 機械学習パイプラ
インの実装が共有 されている Watson AI Pipelines で動作す る模様
Kubeflow Pipelines support and new features in Cloud Pipelines Editor
(1/3) 2022-02-16 に改めて何か が共有された模様 初出は 2021-08-04 なので 前からの取り組み Cloud-Pipelines/pipeline- editor
Kubeflow Pipelines support and new features in Cloud Pipelines Editor
(2/3) 開発者による Tutorial
Kubeflow Pipelines support and new features in Cloud Pipelines Editor
(3/3)
TOC Source Pickup User Community <-
GCPUG: GCP User Group https://gcpug.jp/ gcpug.slack.com #vertex- ai TFUG: TensorFlow
User Group https://tfug.jp/ tfug.slack.com #mlops