インタビューから見えてきた MLOps のレベルと現場の課題

2022年 年忘れ! MLOps LT大会!!! https://mlops.connpass.com/event/265378/ の登壇資料です、MLOps に関する2022年の所感を話しました

Transcript

1. インタビューから見えてきた MLOps の
   レベルと現場の課題
   Asei Sugiyama
   

   View Slide

2. 自己紹介
   杉山 阿聖 (@K_Ryuichirou)
   Software Engineer @ Citadel AI
   Advisor @ Money Forward
   Organizer @ MLSE 機械学習オペレーション
   WG
   機械学習図鑑 共著
   

   View Slide

3. TOC
   背景 <-
   MLOps の取り組みの分類
   MLOps の課題
   まとめ
   

   View Slide

4. 機械学習の実用化について相談を受けることが多い
   AIを一つください、という前に https://speakerdeck.com/asei/aiwo-tukudasai-toiuqian-ni
   

   View Slide

5. さまざまに情報発信
   Asei Sugiyama (@asei) on Speaker Deck https://speakerdeck.com/asei
   

   View Slide

6. 縁あって MLSE に参加
   MLOps に関する Working
   Group
   MLOps に関する基調講演
   

   View Slide

7. 現場の課題を収集する Workshop
   https://app.mural.co/t/zeroqueue8023/m/zeroqueue8023/1657073071541/6f20ef4285a7e19caf0baceb174dc781fd2d9f06?
   sender=u5c824b66a2341e9ebe6b4303
   

   View Slide

8. 今日は今まで聞いてきた話について振り返り
   MLOps の定義
   プラクティスの分類方法
   MLOps の取組分野
   機械学習の活用段階
   あまり有効でない分類軸
   

   View Slide

9. TOC
   背景
   MLOps の取り組みの分類 <-
   MLOps の課題
   まとめ
   

   View Slide

10. MLOps の定義
    MLOps: 機械学習の成果を
    スケールさせるための取り
    組み
    AI を育てる取り組み
    

    View Slide

11. MLOps の取り組みの分類方法
    MLOps の取り組み分野
    機械学習の活用段階
    

    View Slide

12. MLOps の取組分野
    MLOps を支える技術
    MLOps を支えるプロセス
    MLOps を支えるモニタリン
    グ
    MLOps を支える文化
    

    View Slide

13. MLOps を支える技術
    機械学習パイプライン
    ML Metadata
    Feature Store
    概ねここが MLOps として
    語られる
    MLOps: Continuous delivery and automation pipelines in machine learning
    https://cloud.google.com/architecture/mlops-continuous-delivery-and-
    automation-pipelines-in-machine-learning
    

    View Slide

14. MLOps を支えるプロセ
    ス
    モデルの実験プロセス
    本番システムに至るまでの
    開発プロセス
    モデルのテスト
    本番環境での検証 (A/Bテス
    トなど)
    Well-Architected machine learning lifecycle - Machine Learning Lens
    https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-
    lens/well-architected-machine-learning-lifecycle.html
    

    View Slide

15. MLOps を支えるモニタ
    リング
    通常のシステムとしての計
    測
    データの測定
    指標の測定
    精度の測定
    Lupus - A Monitoring System for Accelerating MLOps
    https://speakerdeck.com/line_devday2021/lupus-a-monitoring-system-for-
    accelerating-mlops
    

    View Slide

16. MLOps を支える文化
    多様な利害関係者間での合
    意形成
    機械学習チームの評価
    機械学習に対する経営判断
    Artificial Intelligence (AI) Transformation Playbook | Landing AI
    https://landing.ai/resources/ai-transformation-playbook/
    エムスリーにおけるAI・機械学習チームの立ち上げと機械学習プロダクト開発
    https://speakerdeck.com/nishiba/m3-ai-team
    

    View Slide

17. 機械学習の活用段階
    Lv.0 手作業しかない
    Lv.1 デプロイの脱属人化
    Lv.2 組織的な機械学習基盤の導入
    Lv.3 継続的なモニタリングと改善のための分析
    

    View Slide

18. 体感値
    Lv.1 までは行けるようになってきた
    それ以降に分厚い壁がある
    Lv 段階 組織の多さ
    Lv.0 手作業しかない 大半がこれ
    Lv.1 デプロイの脱属人化 かなり出てきた
    Lv.2 組織的な機械学習基盤の導入 ごく一部
    Lv.3 継続的なモニタリングと改善のための分析 ほぼいない
    

    View Slide

19. あまり有効でない分類軸
    企業規模
    大企業でもスタートアップ並みに活用している場合がある
    SaaS 企業でもまったく進められない場合がある
    業界
    他業種の事例が製造業で活きるなど、事例の有用性は業界をまたぐ
    逆説的に、MLOps は機械学習に関するすべての人に関係する
    

    View Slide

20. TOC
    背景
    MLOps の取り組みの分類
    MLOps の課題 <-
    まとめ
    

    View Slide

21. 現状の課題認識
    技術面で未成熟
    MLOps に関する取り組みや課題の収集
    グローバルな動向に関するキャッチアップ
    

    View Slide

22. 技術面で未成熟
    Kubeflow をはじめ MLOps で用いられるツールはまだまだ未成熟
    現状はデプロイの自働化やデプロイ前のテストに議論が集中しがち
    この領域はエンジニア間での交流が進んできている
    

    View Slide

23. MLOps に関する取り組みや課題の収集
    成功事例は出てくるものの、それより遥かに多いはずの失敗事例が出て
    こない
    Microsoft: An Empirical Study on Program Failures of Deep
    Learning Jobs - Microsoft Research
    Google: How ML Breaks: A Decade of Outages for One Large ML
    Pipeline
    課題について情報発信側に回る人が少ない
    MLSE のワーキンググループで課題の収集を行っていく予定
    

    View Slide

24. グローバルな動向に関するキ
    ャッチアップ
    EU の AI ACT をはじめとして、
    各国で機械学習の「標準」の策
    定が進む
    今までのボトムアップだけでは
    なくなり、トップダウンな動き
    国内団体や、国外の団体へとつ
    ながりを広めたい
    

    View Slide

25. まとめ
    MLOps に関するさまざまなとりくみについて振り返り
    どうやら活用段階と取組分野で課題や取り組みが分類できそう
    事例や国内外の規制について情報収集を進める予定
    

    View Slide

26. View Slide