MLOpsとエンジニアの進化

Slide 1

Slide 1 text

Slide 6

Slide 6 text

©2023 Databricks Inc. — All rights reserved プラットフォームだけでは解決できない問題なんだかやることがたくさん！！！ POCの実施と判断プロトタイプ構築の中で検討・検証システムとしての非機能要件と検証内容 ● 性能 ○ データ量とモデル粒度の妥当性 ○ バッチ実行時間 ○ APIレイテンシー ● 修正可能性 ○ MLシステムは、モデルを定期的に改善することが前提のシステム ● 検証可能性 ○ 問題が発生した場合などに事後的に当時の状況を再現できる ● 保守性 ○ 監視・バックアップ ○ 問題発生時の対処 ● 可用性 ○ 稼働時間・停止 ○ モデルの学習や推論時のデータの異常への対応 ● セキュリティ：アクセスコントロール ● データ品質 ○ データの揺らぎ ○ 欠損 ○ 季節変動 ● POCを実施した時のデータ（期間、粒度） ○ 数ヶ月分か数年分かなど ● POCでのモデル精度 ○ 精度指標と判断基準 ● ビジネス要求と POC時点のモデルとプラットフォームアーキテクチャデザインの見通し ● POCの結果とプロダクションに進んだ判断基準モニタリングの仕組み ● プロトタイプ構築初期に作る必要 ○ 実際の発注量・廃棄量の推移 ○ モデルの推論結果 ● モデル開発とモニタリングの連携モデルとしての非機能要件と検証内容 ● ビジネス要求とモデル粒度の妥当性 ● 精度指標の妥当性　 ○ Ex) ME, RMSE, MAE ● 汎化性能 ○ 学習・テストデータに関わらず安定した精度を出せるか ● ロバスト性 ○ ノイズや外れ値がデータとしきた場合でも安定した精度が出るか ● 解釈可能性 ○ どのようにモデルが特徴量を判断し、予測結果を出力したのかを解釈できる ● (公平性) ○ 偏見や差別に基づいてないか POCから本番化までのGAP：プロトタイプとモニタリングまでの非機能要件

Slide 10

Slide 10 text

©2023 Databricks Inc. — All rights reserved ● ユースケース候補洗い出し ○ 価値発見 ○ 実現時期 ○ インパクト算定 ● ポテンシャル特定 ● ユースケースの優先順位付け ● ロードマップ策定 (初期版) ● 組織的な準備 ○ 混成チームの組成 ○ アサイン計画ユースケース特定後 ● 評価基準を定義 ○ ベースライン設定 ● データ調査 ○ データ整合性や抜け漏れ評価 ● 仮説設定 ○ ビジネス仮説 ○ デジタル仮説 * ● 技術検証と準備 ● ROI算出テクニカルPoCの実施 ● データ抽出・統合 ● 初期モデル構築 ● 事業成長要素の特定 ● インパクト測定ビジネスPoCの実施 ● マニュアルでのモデル実装 ● ROI算出テクニカルプロトタイプ ● システム全体としてのアーキテクチャ構築・実装 ※MVPとして必要な範囲 ● 施策実行とモニタリングの仕組み構築（ DevOps導入) ビジネスプロトタイプ ● 業務プロセスの見直し ● インパクト検証 ● 業務変革ロードマップ策定テクニカルプロダクト ● システム全体開発 ※Agileに継続改善ビジネスモデルの確立 ● 業務プロセスとシステム改善プロセスの確立 ※ビジネス側も Agileに ● ガバナンス体制の確立 ● 各種トレーニングの作成と展開構想策定・企画立案初期調査 PoC プロトタイプ構築本番化開発と運用プロセス：AIプロダクト開発のプロセス *QuantumBlack 5i protocolを参考に作成 https://medium.com/quantumblack/the-protocol-series-articulating-the-lifecycle-of-an-analytics-use-case-with-the-5i-framework-9959b0306eee ● ユースケース一覧 ● ロードマップアウトプット ● ユースケース評価 ● Go/No Goの意思決定 ● 課題とインパクト ● PoC評価 ● Go/No Goの意思決定手法・プロセス・環境 ● MVP ● DevOps設計 ● プロダクトロードマップ ● 業務変革ロードマップ ● 初期版プロダクト ● 各種ロードマップ更新版 ● トレーニングの実施 ● アジャイル文化の醸成 ● Ideationワークショップ等アイデアの収集 ● ポテンシャルマップとロードマップ作成（２週間程度） ● Agile/Kanban方式での調査 ● 既存アーキテクチャ検証 ● データ分析基盤の導入 ● データ収集とアドホック分析（１ヶ月程度） ● 週次での検討会 ● Agile Kanban方式での試行錯誤 ● MLOps開発環境の導入 ● 週次もしくは隔週での検討会 ● Agile/Scrumの導入 ● MLOpsステージング環境の導入 ● Agile/Scrumでのスプリントプランニング・レビュー ● Agile/Scrumの定着 ● DevOps/SREの導入リードチーム ● ビジネスユーザー ● DX推進チーム（補佐） ● ビジネスユーザー ● データサイエンティスト ● ビジネスユーザー ● データサイエンティスト ● アーキテクト/エンジニア/IT（補佐） ● ビジネスユーザー ● データサイエンティスト（補佐） ● アーキテクト/エンジニア/IT ● ビジネスユーザー ● データサイエンティスト ● IT ビジネス側とテック側のコラボによるアジャイル開発ステージゲート管理継続・撤退判断

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text