Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Kubeflow Pipelines on the Front Line

Asei Sugiyama
February 16, 2022

Kubeflow Pipelines on the Front Line

第16回 MLOps 勉強会(Online) の登壇資料です

Asei Sugiyama

February 16, 2022
Tweet

More Decks by Asei Sugiyama

Other Decks in Technology

Transcript

  1. Kubeflow Pipelines on the Front Line
    Asei Sugiyama

    View Slide

  2. 主旨
    Kubeflow Pipelines の最前線の様子をお届けします

    View Slide

  3. TOC
    Source <-
    Pickup
    User Community

    View Slide

  4. Source
    GitHub kubeflow/pipelines
    GitHub Releases
    PyPI
    GitHub Projects
    Google Group
    Slack

    View Slide

  5. GitHub
    kubeflow/pipelines
    SDK とバックエンドとフロ
    ントエンドの実装が含まれ
    るリポジトリ
    サンプルコードやコミュニ
    ティ提供のコンポーネント
    も含まれる
    でかい

    View Slide

  6. GitHub Releases
    バックエンドのリリースが
    されると更新される

    View Slide

  7. PyPI
    SDK の更新は PyPI を見る
    バックエンドとの更新とは
    独立
    ナンバリングも別

    View Slide

  8. GitHub Projects
    主要なProject
    KFP v2
    KFP v2
    compatible
    mode
    "KFP Runtime
    Triage" がえらいこ
    とになっている

    View Slide

  9. Google Group (1/2)
    最重要
    kubeflow-
    [email protected]
    m
    誰でも加入可能

    View Slide

  10. Google Group (2/2)
    2週に1度打ち合わせが行わ
    れ、ここで意思決定がなさ
    れる
    議事録が展開される
    (http://bit.ly/kfp-meeting-
    notes)
    録画も展開される

    View Slide

  11. Slack
    kubeflow.slack.com
    #kubeflow-pipelines
    #platform-aws
    #platform-gcp
    たまにアンケートをやって
    いる

    View Slide

  12. TOC
    Source
    Pickup <-
    User Community

    View Slide

  13. Pickup
    KFP SDK 2.0: API Experience & Breaking Changes (2021-09-15)
    KFP SDK v2.0 Release Plan (2021-11-10)
    KFP v2 Component YAML design (2021-11-10)
    Introduction to Machine Learning Exchange and component catalog
    (2022-01-19)
    Kubeflow Pipelines support and new features in Cloud Pipelines Editor
    (2022-02-16)

    View Slide

  14. KFP SDK 2.0: API Experience & Breaking Changes (1/2)
    2021-09-15 時点で共有されたドキュメント
    将来に備えるため、一度読んでおいたほうが良い

    View Slide

  15. KFP SDK 2.0: API Experience & Breaking Changes (2/2)
    このあたりは知っておくと平穏が訪れそう

    View Slide

  16. KFP SDK v2.0 Release Plan (1/2)
    2021-11-10 時点で共有されたドキュメント
    開発体制の性質上、時期を明言するものではない点に注意

    View Slide

  17. KFP SDK v2.0 Release Plan (2/2)
    内容はこれだけ (2021年11月とは一体…?)

    View Slide

  18. KFP v2 Component YAML design (1/3)
    2021-11-10 に共有されたドキュメント
    個人的には驚愕した内容

    View Slide

  19. KFP v2 Component
    YAML design (2/3)
    ComponentSpec: コンポー
    ネントの入出力を定義する
    YAMLファイル
    SDK v2.0 で予定している破
    壊的な変更を記述
    KFP の黎明期 (v0.x) から用
    いられていたのでやむなし

    View Slide

  20. KFP v2 Component YAML design (3/3)
    タイムラインを見て絶句しました (2021年11月時点)

    View Slide

  21. Introduction to
    Machine Learning
    Exchange and
    component catalog
    (1/3)
    IBM 勢から 2022-01-19 時
    点で共有された事項
    リポジトリ machine-
    learning-exchange/mlx

    View Slide

  22. Introduction to
    Machine Learning
    Exchange and
    component catalog
    (2/3)
    バックエンドは Tekton
    リポジトリも別:
    kubeflow/kfp-tekton

    View Slide

  23. Introduction to
    Machine Learning
    Exchange and
    component catalog
    (3/3)
    機械学習パイプラ
    インの実装が共有
    されている
    Watson AI
    Pipelines で動作す
    る模様

    View Slide

  24. Kubeflow Pipelines support
    and new features in Cloud
    Pipelines Editor (1/3)
    2022-02-16 に改めて何か
    が共有された模様
    初出は 2021-08-04 なので
    前からの取り組み
    Cloud-Pipelines/pipeline-
    editor

    View Slide

  25. Kubeflow
    Pipelines
    support and new
    features in
    Cloud Pipelines
    Editor (2/3)
    開発者による
    Tutorial

    View Slide

  26. Kubeflow Pipelines support and new features in Cloud Pipelines
    Editor (3/3)

    View Slide

  27. TOC
    Source
    Pickup
    User Community <-

    View Slide

  28. GCPUG: GCP User
    Group
    https://gcpug.jp/
    gcpug.slack.com #vertex-
    ai
    TFUG: TensorFlow User
    Group
    https://tfug.jp/
    tfug.slack.com #mlops

    View Slide