Kubeflow Pipelines on the Front Line

第16回 MLOps 勉強会(Online) の登壇資料です

Transcript

1. Kubeflow Pipelines on the Front Line
   Asei Sugiyama
   

   View Slide

2. 主旨
   Kubeflow Pipelines の最前線の様子をお届けします
   

   View Slide

3. TOC
   Source <-
   Pickup
   User Community
   

   View Slide

4. Source
   GitHub kubeflow/pipelines
   GitHub Releases
   PyPI
   GitHub Projects
   Google Group
   Slack
   

   View Slide

5. GitHub
   kubeflow/pipelines
   SDK とバックエンドとフロ
   ントエンドの実装が含まれ
   るリポジトリ
   サンプルコードやコミュニ
   ティ提供のコンポーネント
   も含まれる
   でかい
   

   View Slide

6. GitHub Releases
   バックエンドのリリースが
   されると更新される
   

   View Slide

7. PyPI
   SDK の更新は PyPI を見る
   バックエンドとの更新とは
   独立
   ナンバリングも別
   

   View Slide

8. GitHub Projects
   主要なProject
   KFP v2
   KFP v2
   compatible
   mode
   "KFP Runtime
   Triage" がえらいこ
   とになっている
   

   View Slide

9. Google Group (1/2)
   最重要
   kubeflow-
   discuss@googlegroups.co
   m
   誰でも加入可能
   

   View Slide

10. Google Group (2/2)
    2週に1度打ち合わせが行わ
    れ、ここで意思決定がなさ
    れる
    議事録が展開される
    (http://bit.ly/kfp-meeting-
    notes)
    録画も展開される
    

    View Slide

11. Slack
    kubeflow.slack.com
    #kubeflow-pipelines
    #platform-aws
    #platform-gcp
    たまにアンケートをやって
    いる
    

    View Slide

12. TOC
    Source
    Pickup <-
    User Community
    

    View Slide

13. Pickup
    KFP SDK 2.0: API Experience & Breaking Changes (2021-09-15)
    KFP SDK v2.0 Release Plan (2021-11-10)
    KFP v2 Component YAML design (2021-11-10)
    Introduction to Machine Learning Exchange and component catalog
    (2022-01-19)
    Kubeflow Pipelines support and new features in Cloud Pipelines Editor
    (2022-02-16)
    

    View Slide

14. KFP SDK 2.0: API Experience & Breaking Changes (1/2)
    2021-09-15 時点で共有されたドキュメント
    将来に備えるため、一度読んでおいたほうが良い
    

    View Slide

15. KFP SDK 2.0: API Experience & Breaking Changes (2/2)
    このあたりは知っておくと平穏が訪れそう
    

    View Slide

16. KFP SDK v2.0 Release Plan (1/2)
    2021-11-10 時点で共有されたドキュメント
    開発体制の性質上、時期を明言するものではない点に注意
    

    View Slide

17. KFP SDK v2.0 Release Plan (2/2)
    内容はこれだけ (2021年11月とは一体…？)
    

    View Slide

18. KFP v2 Component YAML design (1/3)
    2021-11-10 に共有されたドキュメント
    個人的には驚愕した内容
    

    View Slide

19. KFP v2 Component
    YAML design (2/3)
    ComponentSpec: コンポー
    ネントの入出力を定義する
    YAMLファイル
    SDK v2.0 で予定している破
    壊的な変更を記述
    KFP の黎明期 (v0.x) から用
    いられていたのでやむなし
    か
    

    View Slide

20. KFP v2 Component YAML design (3/3)
    タイムラインを見て絶句しました (2021年11月時点)
    

    View Slide

21. Introduction to
    Machine Learning
    Exchange and
    component catalog
    (1/3)
    IBM 勢から 2022-01-19 時
    点で共有された事項
    リポジトリ machine-
    learning-exchange/mlx
    

    View Slide

22. Introduction to
    Machine Learning
    Exchange and
    component catalog
    (2/3)
    バックエンドは Tekton
    リポジトリも別:
    kubeflow/kfp-tekton
    

    View Slide

23. Introduction to
    Machine Learning
    Exchange and
    component catalog
    (3/3)
    機械学習パイプラ
    インの実装が共有
    されている
    Watson AI
    Pipelines で動作す
    る模様
    

    View Slide

24. Kubeflow Pipelines support
    and new features in Cloud
    Pipelines Editor (1/3)
    2022-02-16 に改めて何か
    が共有された模様
    初出は 2021-08-04 なので
    前からの取り組み
    Cloud-Pipelines/pipeline-
    editor
    

    View Slide

25. Kubeflow
    Pipelines
    support and new
    features in
    Cloud Pipelines
    Editor (2/3)
    開発者による
    Tutorial
    

    View Slide

26. Kubeflow Pipelines support and new features in Cloud Pipelines
    Editor (3/3)
    

    View Slide

27. TOC
    Source
    Pickup
    User Community <-
    

    View Slide

28. GCPUG: GCP User
    Group
    https://gcpug.jp/
    gcpug.slack.com #vertex-
    ai
    TFUG: TensorFlow User
    Group
    https://tfug.jp/
    tfug.slack.com #mlops
    

    View Slide