第45回 MLOps 勉強会 - ML Test Scoreを用いた機械学習システムの定量的なアセスメント

第45回 『事例でわかるMLOps 機械学習の成果をスケールさせる処方箋』出版記念MLOps勉強会 - LT大会で登壇したスライドです．
https://mlops.connpass.com/event/328296/

第2部10章「ML Test Score を用いた 機械学習システムの定量的なアセスメント」の執筆を担当しました．

Transcript

1. ML Test Score を用いた 機械学習システムの定量的なアセスメント 2024/10/02 第45回 MLOps 勉強会 『事例でわかるMLOps 機械学習の成果をスケールさせる処方箋』出版記念 Masataka Kashiwagi
2. モチベーション 信頼性のある機械学習システムを作り上げていきたい！ → 機械学習システムが満たすべきチェックポイントを知ることで，技術的負債につ ながる点や戦略的に取り組みべきポイントを把握することができる（ML Test Score の活用） ポイント • ML Test Score を活用する目的の明確化 • スコアリングの進め方の紹介 • 定期的にアセスメントを行う重要性 担当した章の紹介
3. ML Test Score とは？ データとモデルという ML システム特有の不確実性要素 テストとモニタリングの重要性
4. ML Test Score とは？ データとモデルという ML システム特有の不確実性要素 テストとモニタリングの重要性 機械学習システムがプロダクションへの適用に どれだけ準備ができているかを測定する フレームワーク
5. ML Test Score を活用 する目的の明確化 01
6. 理解しておくべきこと MLOps のライフサイクルを理解する Data / ML / Dev / Ops は繋がっている 自分達の抱える課題や問題設定に即して要件などを思考する 調査/実施する時間・コストなどがそれなりにかかる
7. 目的の明確化 AsIs / ToBe 理想系のシステム と自分達との ギャップを知る Indicator 優先順位や技術戦 略を決める判断材 料を作る Sustainable より持続可能な形 でプロダクト・ビ ジネス貢献をする 01 03 02
8. スコアリングの進め方 の紹介 02
9. スコアリングの進め方の一例 テスト項目単位の 理解と整理 （共通認識の醸成） スコアリングの実施 スコア基準の定義 （評価の統一） 課題整理とアクション プランの策定 Step 1 Step 2 Step 3 Step 4
10. 定期的にアセスメント を行う重要性 03
11. • 自分達が抱える課題は時事刻々と変化していく ◦ プロダクト / ビジネス / システム …etc • 技術的負債の管理 ◦ 負債や不足しているポイントを定量的に把握することができる ▪ 状況が変われば負債が大きくなることもある ◦ 戦略的なロードマップを引くこともできる • 日々進化する技術 / 事例 ◦ LLM の登場や各社での事例（Model Excellence Scores: Uber, A software quality model: Booking.com）など，日々アップデートされ続けている 定期的にアセスメントを行う重要性
12. まとめ • ML Test Score の活用を通して ◦ 信頼性のある機械学習システムを作っていくために，満たすべきチェッ クポイントを定量的に把握し，プロダクションへの備えをする（目的や 要件の明確化はきちんと行う） • ML Test Score の取り組みは泥臭い ◦ 調査実施することは大変であるのはもちろん，チームや関係者とコンセ ンサスを取り，取り組みを布教する必要もあり，根付かせていくことはと ても泥臭い ◦ 継続的・定期的に行っていくことが大事
13. ご清聴ありがとう ございました！