３分で読むMLops検討事項整理

Transcript

1. ３分で読む MLOps検討事項整理 uvalue
2. Agenda • はじめに • 定義 • 検討事項 • まとめ、所感 • Ref.
3. はじめに - Disclaimer • MLOps未経験者が書いてます • MLOpsについて調べてまとめました • 孫引きしてます • 所々、筆者の主観が入ってます • 多分３分で読めます
4. はじめに - 想定読者 • MLOpsの経験がないが、ちょっと興味ある人 • 「MLOpsやれ」と言われて、「ＭＬおｐｓ？」ってなっている人
5. 定義 • MlOpsの定義は結構あいまい • 大体同じようなことを言ってはいるが、その範囲に違いがあるイメージ • とりあえずMicrosoftの広めの定義を採用します（↓） • MLOpsとは： • Machine Learning 操作 (MLOps) は、ワークフローの効率を向上させ る DevOps の原則と実践に基づいています。 • DevOpsとは： • 開発 (Dev) と運用 (Ops) を組み合わせたものである DevOps は、人、プ ロセス、テクノロジを統合したもの
6. 参考 • こんなイメージ [図1]
7. MLOpsやると何が良いの？ • DevOpsのメリット： • DevOpsには様々なメリットがありますが、中でもよく言われるのは「信 頼性」「生産性」「開発スピード」の向上 • つまり、MLOpsのメリットも上記３要素であると考えられる
8. 検討事項 - 最初の検討事項 • 1. 誰がどうやってMLOpsのStrategyを描くのか？ • どうやって：単独？社内協力？外部協力？ • 2. 誰がMLOpsのGovernanceの責任を担うのか？ • 1.と2.は同一人物にしたほうがいいのでは
9. 検討事項 – StrategyとGovernance • Strategyの３要素 • People：人 • Process ：プロセス • Product (Technology)：プロダクト（テクノロジー） • 上記３要素について、それぞれ何をどのレベルまで引き上げるのかの優先 順位をつける必要がある • 優先順位をつけるためには、To-BeデザインとAs-Is理解が必要 • Governance • MLOpsが適切に行われているかを管理
10. 検討事項 – Strategyの優先順位 • なぜ優先順位をつける必要があるのか？ • MLOpsといっても、やれることは色々ある • 一方、各ML利用主体によって、どのレベルのMLOpsが適切なのかは異な る
11. 参考：GoogleのMLOpsレベル分け テスト手順 モデル更新 テストと運用 モジュール化 CI/CD（自動化） パフォーマンス モニタリング モデル 更新頻度 パイプライン 追加頻度 0 手動 手動 分離 なし ほぼ考慮されず（ほぼ手動） 手動 低 1 モデルのデプロイ 2 トレーニング パイプライン 高 高 低 level 統合 自動 統合かつ対称 あり 自動 ユースケース 0 モデルの変更やトレーニングがほとんど行われない場合 1 少数のパイプラインのみを管理 2 常にパイプラインが増えていく状態 level ※筆者まとめ[図2]
12. 検討事項 – People • People : Capability & Culture • Capability • ML PoCができる（理解、データ加工、モデリング、評価など） • 実装ができる（デプロイ、SaaS導入など） • モニタリングができる（どの指標がどうなると、どのアクションをするのか？） • Culture • 効率的なMLOpsを行うために、ML, Dev, Opsが統合、連携する組織文化 • 極論、全部一人でできるならおそらく不要 • DevOpsにおいて良い組織文化とされる例： • お互いを尊重する（Respect） • お互いを信頼する（Trust） • 失敗に対して健全な態度を取る（Healthy attitude about failure） • 相手を非難しない（Avoiding Blame）
13. 検討事項 – Process • Process : • 誰が？ • 何を？ • オフライン/オンライン？ • 手動/自動？ など [図3]
14. 検討事項 – Product • Product : • Processを効率化、実現するためのツール、テクノロジー • 色々ある • 機械学習プラットフォーム • SageMaker • AI Platform • Azure Machine Learning • Kubeflow • 実験管理ツール • MLFlow • Trains • Weights and Biases • comet • neptune • mag • パイプライン管理ツール • Airflow • digdag • Luigi • gokart • Kedro • Metaflow
15. まとめ、所感 • MLOpsをやりたいなら、まずはStrategyを決めよう • People, Process, Productの３要素について、各要素ごとの優先順位を考えよう • Strategyの３要素の中でも、特にPeopleが一番課題になりそう • 例えば、Skillingしよう、Culture変えよう、っていうのは大きな挑戦 • Process, Productはある程度ベストプラクティスがあるのでは
16. Ref. • https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-model-management-and- deployment • https://azure.microsoft.com/ja-jp/overview/what-is-devops/ • https://atmarkit.itmedia.co.jp/ait/articles/1911/21/news018.html [図1] • https://gigaom.com/report/delivering-on-the-vision-of-mlops/ • https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in- machine-learning [図2] [図3] • https://www.kagoya.jp/howto/it-glossary/develop/devops/ • https://qiita.com/nokoxxx1212/items/d2c36b0b22ab0da6c759