インフラだけではないMLOpsの話

MLOpsの前提となる「ML」がプロダクトの成長に貢献している状態を実現するために、AWSが実施している ML Enablement Workshop の内容や提供の経緯をお話しした資料です。

ML Enablement Workshop は GitHub で公開しています。
https://github.com/aws-samples/aws-ml-enablement-workshop

MLOps 勉強会での発表資料です
https://mlops.connpass.com/event/290277/

Transcript

1. © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. アマゾンウェブサービスジャパン合同会社 Machine Learning Developer Relations 久保 隆宏 インフラだけではない MLOps の話
2. © 2023, Amazon Web Services, Inc. or its affiliates. 本日お話しすること、しないこと プロダクト開発チームが機械学習を活用できるようになるために、 AWS が実施しているチーム組成・ユースケース発見を目的とした ML Enablement Workshop の話をします。 Amazon SageMaker で MLOps を構築する方法については本日お話 ししません。関心ある方は aws-ml-jp 、また MLOps Community で の発表資料をご参照ください！
3. © 2023, Amazon Web Services, Inc. or its affiliates. MLOps Community での AWS を使用した MLOps の話 • ドコモ様 : 大規模データ処理基盤におけるMLOpsについて (2023/5 (第 31 回)) ▪ 全国約 60,000 の基地局からデータで地域ごと約 300 のモデルを週 1 回 更新するには !? • マネーフォワード様 : MLOps のはじめかた (2023/4 (第 30 回)) ▪ MLOps is 何の状態からチームで学習し小さく始めていくには。 • CyberAgent 様 : DynalystにおけるMLワークフローへのPrefect導入事例 (2023/4 (第 30 回)) ▪ Prefect で柔軟かつ容易にワークフローを組んで N 個のモデルの M 回更新を日次モニタリング。 • Cookpad 様 : クックパッドマートにおける推薦タスクとMLOps (2022/11(第 25 回)) ▪ 推薦アルゴリズムライブラリ RecBole を使い推薦結果をユーザーに届ける仕組み。 • Turing 様 : End-to-End Deep Learningで自動運転車走らせてみた話 (2022/6( 第 20 回 )) ▪ S3 と SageMaker があれば車を走らせられる！ • AWS : AWSではじめるMLOps (2022/1 ( 第 15 回 )) ▪ AWS 自身が語る AWS での様々な MLOps の組み方 + MLOps 事例集。
4. © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. Agenda 4 1. AWS が ML Enablement Workshop を行う理由 2. ML Enablement Workshop の歩み 3. ML の未来に向けて
5. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop とは 5 組織横断的にチームを組成し、機械学習による成長サイクルを実現 する計画を立てるワークショップ 実践的 AWS での機械学習活用支援の ノウハウが詰め込まれている 実現性 AWS のサービスでの実装を支援 無料 オープンソースとして資料を GitHub で公開 https://github.com/aws-samples/aws-ml-enablement-workshop
6. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop とは 6 組織横断的にチームを組成し、機械学習による成長サイクルを実現 する計画を立てるワークショップ 実践的 AWS での機械学習活用支援のノ ウハウが詰め込まれている 実現性 AWS のサービスでの実装を支援 無料 オープンソースとして資料を GitHub で公開 https://github.com/aws-samples/aws-ml-enablement-workshop
7. © 2023, Amazon Web Services, Inc. or its affiliates. 7 なぜ ML Enablement Workshop が必要で、 なぜ AWS がそれを行うのか ?
8. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop が必要な理由 8 データを活用した製品の企画や業務改善ができる人材が米国に比べ 50 ポイント以上少ない。 IPA 「DX 白書 2023」より引用 十分いる~まあまあいるの合計 日本: 21.9% 米国: 72.6% 十分いる~まあまあいるの合計 日本: 17.6% 米国: 69.2% 業務に活かせる従業員 サービスを企画できる人材
9. © 2023, Amazon Web Services, Inc. or its affiliates. でも AI ってやつは使わないといけないから・・・ 9 なんか AI って名前の付い た機能でプロダクトを 「デコレーション」する。 。
10. © 2023, Amazon Web Services, Inc. or its affiliates. 10 プロダクトに導入されているが成長に繋がっていない IPA 「DX 白書 2023」より引用 米国では全ての領域で 6~7 割の売上増 加効果があるとする一方、日本では効果 が有ったとする企業は 1~3 割に留まる。 (そもそも 5 割が効果を計測していない) 米国では 5~6 割のコスト削減効果があ る一方、日本では製造工程 / 製造設備、 ロジスティックス・調達・物流の 3 つの みが 3 割以上の効果を出すに留まる。
11. © 2023, Amazon Web Services, Inc. or its affiliates. 生成系 AI による「デコレーション」の罠 11 価値 データ データが増えても学習させな い限り精度は改善しない。 API で呼び出す生成系 AI は高機能で手早く機能を実装できるが、どれ だけユーザーのデータが蓄積されても賢くならない。 学習済みのモデルで高い価値
12. © 2023, Amazon Web Services, Inc. or its affiliates. 生成系 AI による「デコレーション」の罠 12 価値 データ 通常の機械学習モデル 大規模言語モデルの Fine Tuning 蓄積されたデータで継続的に学習するモデル、大規模言語モデルから さらに Fine Tuning し続けるモデルには価値が及ばない。
13. © 2023, Amazon Web Services, Inc. or its affiliates. あるべき「機械学習が活用できている」状態 13 Customer Experience Traffic Data Data Driven Decision Growth
14. © 2023, Amazon Web Services, Inc. or its affiliates. 顧客のフィードバックを 保存していない 成長サイクルが回らないパターン 14 Customer Experience Traffic Data Data Driven Decision Growth 顧客の期待に応えられる 精度ではなく不満が募る 遊ばれているが会員数や有料 プラン加入数は増えてない
15. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop が必要な理由 15 ML の成長あってこその MLOps
16. © 2023, Amazon Web Services, Inc. or its affiliates. AWS が ML Enablement Workshop を進める理由 16 AWS の魅力は特に本番環境で発揮される。 Canva 一億ユーザーにテキストから画像 を生成する機能を提供 Epic Game 200 万超のデジタルヒューマン 構築にむけ画像から 3D モデルを 生成するアプリをリリース
17. © 2023, Amazon Web Services, Inc. or its affiliates. AWS が ML Enablement Workshop を進める理由 17 本番環境で機械学習を活用できるチームを増やすことが、 AWS の価値を感じて頂けるお客様を増やすことにつながる。
18. © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. Agenda 18 1. AWS が ML Enablement Workshop を行う理由 2. ML Enablement Workshop の歩み 3. ML の未来に向けて
19. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop 19 ML Enablement Workshop Day1: 理解編 Day2: 応用編 Day3: 開始編 目的 機械学習の改善がプロダクトの 成長につながるサイクルを理解 し、自社プロダクトでの実現方 法を考えられるようになる。 アウトプット 自社プロダクトの成長サイクル を表すビジネスモデル図 時間 ・~2時間 目的 顧客の視点からプロダクトの体 験をたどることで問題点を特定 し、改善後の体験をチーム全員 で共有できるようになる。 アウトプット 顧客体験、課題、改善後体験を 可視化したボード 時間 ・~3時間 目的 改善後の体験実現を最終目標と し、実現可能かつ短期で効果が 確認できる最初の計画を立てら れるようになる。 アウトプット 1~3 カ月間の活動と計測指標 をまとめた行動計画 時間 ・~2時間 プロダクトマネージャー、開発者、データサイエンティストの 3 者が組織横断的 にチームを組成し、機械学習による成長サイクルを実現する計画を作成する。
20. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop の歴史 20 • 1st Season (v0.1) ▪ プロダクトマネージャーの機械学習に対する理解に課題感を持た れていたお客様向けに個別提供。 • 2nd Season (v0.5) ▪ 1st の成果を受けて、一部合同研修形式で複数社のお客様に提供。 • 3rd Season (v1.0) ▪ 2nd のフィードバックをもとに構成を見直し、個社ごとに切り替 え提供。 ワークショップの提供から得た知見を更新しながら成長中。
21. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop 現状の構成の背景 21 Day1 理解編の内容と背景 機械学習によるプロダクトの成長サイクル を学び、データサイエンティストが選んだ 事例を参考に自社の成長サイクルを作成。 機械学習が成長につながる理屈 と事例をビジネス側の人に伝え モチベーションを高める。 ゼロベースで検討すると有効性 のばらつきが大きいため、確度 の高い事例から議論をスタート する。
22. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop 現状の構成の背景 22 Day2 応用編の内容と背景 Day1 で作成したビジネスモデルにおける 顧客体験を可視化し、ビジネスモデル成立 を確認するための必要最小限の検証を特定 ストーリーの作成に使用してい た Event Storming の手法を 大幅に簡略化し、手法の理解に 手間取る時間を削減。 v0.5 では Day3 で実施してい たが、開発者向けハンズオンを オプションにし Day2 に移動。
23. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop 現状の構成の背景 23 Day3 開始編の内容と背景 必要最小限の検証と最初のビジネス価値創 出を 3 カ月以内に行うための計画を作成 する。 ワークショップ終了後チームが 解散し、実現に向けた計画が立 てられないことがあった。 CTOは 3 ヶ月以内に優先度の 高い突発案件に遭遇する統計か ら、3 ヶ月以内に検証・成果確 認完了のマイルストンにたどり つけるよう計画。
24. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop 今後の進化 24 v1.0 のお客様デリバリーも開始しており、得られた知見からすでに 次期バージョンにむけて更新中。 ココペリ様にはプレスリリース を出していただきました。 お客様も AWS も絶対に成果出す しかない意気込みで臨んでます
25. © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. Agenda 25 1. AWS が ML Enablement Workshop を行う理由 2. ML Enablement Workshop の歩み 3. ML の未来に向けて
26. © 2023, Amazon Web Services, Inc. or its affiliates. 究極の MLOps が実現された状態とは ? 26 機械学習の魅力は、蓄積されるデータを基に学習することで半自動 的にプロダクトを改善できること。 Auto ML によるモデル構築は論文の世界からマネージドサービスで 誰もが使える機能へ。構築だけでなく運用、 MLOps の自動化も進む と・・・
27. © 2023, Amazon Web Services, Inc. or its affiliates. 究極の MLOps が実現された状態とは ? 27 暇になる !?
28. © 2023, Amazon Web Services, Inc. or its affiliates. 機械学習専門職の活躍機会は、機会がない層へのアプローチ なしには増えない 28 約 20% : データを活用した 製品企画や業務改 善ができる人材が いる。 約 8% : 機械学習の効果を 実感している企業 機械学習に取り組む企業では AutoML / Auto MLOps で効率 化が進みフルタイムで機械学習 に取り組む必要性が薄れる IPA 「DX 白書 2023」の数字を集計し数値を算出 約 80% : 人材が不足し機械 学習が活用できな いか効果が出てい ない企業
29. © 2023, Amazon Web Services, Inc. or its affiliates. ML Product Manager: ML PdM への注目が高まる 29 LayerX 発表資料 LLM の普及による機械学習の民主化と MLPdM の重要性 バンダイナムコネクサス採用記事 グループ内への機械学習システムの民 主化を担う ML プロダクトマネー ジャー募集 ML Enablement Workshop 紹介いただきました
30. © 2023, Amazon Web Services, Inc. or its affiliates. 自ら機会を創ろう 30 機械学習が活用できるプロダクトチームを増やすために、 ML Enablement Workshop の協力者を募集。 • ML Enablement Workshop のコンテンツレビューへの参加。 • ML Enablement Workshop のコンテンツを使ったフィードバック の共有いただく。 • AWS に来ていただければ AWS が導入されている数多の企業での 機械学習導入に関わることができます。 活動、提供に関心ある方は DM ください！
31. © 2023, Amazon Web Services, Inc. or its affiliates. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates.