Upgrade to Pro — share decks privately, control downloads, hide ads and more …

インフラだけではないMLOpsの話

Takahiro Kubo
August 23, 2023

 インフラだけではないMLOpsの話

MLOpsの前提となる「ML」がプロダクトの成長に貢献している状態を実現するために、AWSが実施している ML Enablement Workshop の内容や提供の経緯をお話しした資料です。

ML Enablement Workshop は GitHub で公開しています。
https://github.com/aws-samples/aws-ml-enablement-workshop

MLOps 勉強会での発表資料です
https://mlops.connpass.com/event/290277/

Takahiro Kubo

August 23, 2023
Tweet

More Decks by Takahiro Kubo

Other Decks in Business

Transcript

  1. © 2023, Amazon Web Services, Inc. or its affiliates.
    © 2023, Amazon Web Services, Inc. or its affiliates.
    アマゾンウェブサービスジャパン合同会社
    Machine Learning Developer Relations
    久保 隆宏
    インフラだけではない MLOps の話

    View full-size slide

  2. © 2023, Amazon Web Services, Inc. or its affiliates.
    本日お話しすること、しないこと
    プロダクト開発チームが機械学習を活用できるようになるために、
    AWS が実施しているチーム組成・ユースケース発見を目的とした
    ML Enablement Workshop の話をします。
    Amazon SageMaker で MLOps を構築する方法については本日お話
    ししません。関心ある方は aws-ml-jp 、また MLOps Community で
    の発表資料をご参照ください!

    View full-size slide

  3. © 2023, Amazon Web Services, Inc. or its affiliates.
    MLOps Community での AWS を使用した MLOps の話
    • ドコモ様 : 大規模データ処理基盤におけるMLOpsについて (2023/5 (第 31 回))
    ▪ 全国約 60,000 の基地局からデータで地域ごと約 300 のモデルを週 1 回 更新するには !?
    • マネーフォワード様 : MLOps のはじめかた (2023/4 (第 30 回))
    ▪ MLOps is 何の状態からチームで学習し小さく始めていくには。
    • CyberAgent 様 : DynalystにおけるMLワークフローへのPrefect導入事例 (2023/4 (第 30 回))
    ▪ Prefect で柔軟かつ容易にワークフローを組んで N 個のモデルの M 回更新を日次モニタリング。
    • Cookpad 様 : クックパッドマートにおける推薦タスクとMLOps (2022/11(第 25 回))
    ▪ 推薦アルゴリズムライブラリ RecBole を使い推薦結果をユーザーに届ける仕組み。
    • Turing 様 : End-to-End Deep Learningで自動運転車走らせてみた話 (2022/6( 第 20 回 ))
    ▪ S3 と SageMaker があれば車を走らせられる!
    • AWS : AWSではじめるMLOps (2022/1 ( 第 15 回 ))
    ▪ AWS 自身が語る AWS での様々な MLOps の組み方 + MLOps 事例集。

    View full-size slide

  4. © 2023, Amazon Web Services, Inc. or its affiliates.
    © 2023, Amazon Web Services, Inc. or its affiliates.
    Agenda
    4
    1. AWS が ML Enablement Workshop を行う理由
    2. ML Enablement Workshop の歩み
    3. ML の未来に向けて

    View full-size slide

  5. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop とは
    5
    組織横断的にチームを組成し、機械学習による成長サイクルを実現
    する計画を立てるワークショップ
    実践的
    AWS での機械学習活用支援の
    ノウハウが詰め込まれている
    実現性
    AWS のサービスでの実装を支援
    無料
    オープンソースとして資料を
    GitHub で公開
    https://github.com/aws-samples/aws-ml-enablement-workshop

    View full-size slide

  6. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop とは
    6
    組織横断的にチームを組成し、機械学習による成長サイクルを実現
    する計画を立てるワークショップ
    実践的
    AWS での機械学習活用支援のノ
    ウハウが詰め込まれている
    実現性
    AWS のサービスでの実装を支援
    無料
    オープンソースとして資料を
    GitHub で公開
    https://github.com/aws-samples/aws-ml-enablement-workshop

    View full-size slide

  7. © 2023, Amazon Web Services, Inc. or its affiliates. 7
    なぜ ML Enablement Workshop が必要で、
    なぜ AWS がそれを行うのか ?

    View full-size slide

  8. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop が必要な理由
    8
    データを活用した製品の企画や業務改善ができる人材が米国に比べ
    50 ポイント以上少ない。
    IPA 「DX 白書 2023」より引用
    十分いる~まあまあいるの合計
    日本: 21.9%
    米国: 72.6%
    十分いる~まあまあいるの合計
    日本: 17.6%
    米国: 69.2%
    業務に活かせる従業員
    サービスを企画できる人材

    View full-size slide

  9. © 2023, Amazon Web Services, Inc. or its affiliates.
    でも AI ってやつは使わないといけないから・・・
    9
    なんか AI って名前の付い
    た機能でプロダクトを
    「デコレーション」する。

    View full-size slide

  10. © 2023, Amazon Web Services, Inc. or its affiliates. 10
    プロダクトに導入されているが成長に繋がっていない
    IPA 「DX 白書 2023」より引用
    米国では全ての領域で 6~7 割の売上増
    加効果があるとする一方、日本では効果
    が有ったとする企業は 1~3 割に留まる。
    (そもそも 5 割が効果を計測していない)
    米国では 5~6 割のコスト削減効果があ
    る一方、日本では製造工程 / 製造設備、
    ロジスティックス・調達・物流の 3 つの
    みが 3 割以上の効果を出すに留まる。

    View full-size slide

  11. © 2023, Amazon Web Services, Inc. or its affiliates.
    生成系 AI による「デコレーション」の罠
    11
    価値
    データ
    データが増えても学習させな
    い限り精度は改善しない。
    API で呼び出す生成系 AI は高機能で手早く機能を実装できるが、どれ
    だけユーザーのデータが蓄積されても賢くならない。
    学習済みのモデルで高い価値

    View full-size slide

  12. © 2023, Amazon Web Services, Inc. or its affiliates.
    生成系 AI による「デコレーション」の罠
    12
    価値
    データ
    通常の機械学習モデル
    大規模言語モデルの
    Fine Tuning
    蓄積されたデータで継続的に学習するモデル、大規模言語モデルから
    さらに Fine Tuning し続けるモデルには価値が及ばない。

    View full-size slide

  13. © 2023, Amazon Web Services, Inc. or its affiliates.
    あるべき「機械学習が活用できている」状態
    13
    Customer
    Experience
    Traffic
    Data
    Data Driven
    Decision
    Growth

    View full-size slide

  14. © 2023, Amazon Web Services, Inc. or its affiliates.
    顧客のフィードバックを
    保存していない
    成長サイクルが回らないパターン
    14
    Customer
    Experience
    Traffic
    Data
    Data Driven
    Decision
    Growth
    顧客の期待に応えられる
    精度ではなく不満が募る
    遊ばれているが会員数や有料
    プラン加入数は増えてない

    View full-size slide

  15. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop が必要な理由
    15
    ML の成長あってこその
    MLOps

    View full-size slide

  16. © 2023, Amazon Web Services, Inc. or its affiliates.
    AWS が ML Enablement Workshop を進める理由
    16
    AWS の魅力は特に本番環境で発揮される。
    Canva
    一億ユーザーにテキストから画像
    を生成する機能を提供
    Epic Game
    200 万超のデジタルヒューマン
    構築にむけ画像から 3D モデルを
    生成するアプリをリリース

    View full-size slide

  17. © 2023, Amazon Web Services, Inc. or its affiliates.
    AWS が ML Enablement Workshop を進める理由
    17
    本番環境で機械学習を活用できるチームを増やすことが、
    AWS の価値を感じて頂けるお客様を増やすことにつながる。

    View full-size slide

  18. © 2023, Amazon Web Services, Inc. or its affiliates.
    © 2023, Amazon Web Services, Inc. or its affiliates.
    Agenda
    18
    1. AWS が ML Enablement Workshop を行う理由
    2. ML Enablement Workshop の歩み
    3. ML の未来に向けて

    View full-size slide

  19. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop
    19
    ML Enablement Workshop
    Day1: 理解編 Day2: 応用編 Day3: 開始編
    目的
    機械学習の改善がプロダクトの
    成長につながるサイクルを理解
    し、自社プロダクトでの実現方
    法を考えられるようになる。
    アウトプット
    自社プロダクトの成長サイクル
    を表すビジネスモデル図
    時間
    ・~2時間
    目的
    顧客の視点からプロダクトの体
    験をたどることで問題点を特定
    し、改善後の体験をチーム全員
    で共有できるようになる。
    アウトプット
    顧客体験、課題、改善後体験を
    可視化したボード
    時間
    ・~3時間
    目的
    改善後の体験実現を最終目標と
    し、実現可能かつ短期で効果が
    確認できる最初の計画を立てら
    れるようになる。
    アウトプット
    1~3 カ月間の活動と計測指標
    をまとめた行動計画
    時間
    ・~2時間
    プロダクトマネージャー、開発者、データサイエンティストの 3 者が組織横断的
    にチームを組成し、機械学習による成長サイクルを実現する計画を作成する。

    View full-size slide

  20. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop の歴史
    20
    • 1st Season (v0.1)
    ▪ プロダクトマネージャーの機械学習に対する理解に課題感を持た
    れていたお客様向けに個別提供。
    • 2nd Season (v0.5)
    ▪ 1st の成果を受けて、一部合同研修形式で複数社のお客様に提供。
    • 3rd Season (v1.0)
    ▪ 2nd のフィードバックをもとに構成を見直し、個社ごとに切り替
    え提供。
    ワークショップの提供から得た知見を更新しながら成長中。

    View full-size slide

  21. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop 現状の構成の背景
    21
    Day1 理解編の内容と背景
    機械学習によるプロダクトの成長サイクル
    を学び、データサイエンティストが選んだ
    事例を参考に自社の成長サイクルを作成。
    機械学習が成長につながる理屈
    と事例をビジネス側の人に伝え
    モチベーションを高める。
    ゼロベースで検討すると有効性
    のばらつきが大きいため、確度
    の高い事例から議論をスタート
    する。

    View full-size slide

  22. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop 現状の構成の背景
    22
    Day2 応用編の内容と背景
    Day1 で作成したビジネスモデルにおける
    顧客体験を可視化し、ビジネスモデル成立
    を確認するための必要最小限の検証を特定
    ストーリーの作成に使用してい
    た Event Storming の手法を
    大幅に簡略化し、手法の理解に
    手間取る時間を削減。
    v0.5 では Day3 で実施してい
    たが、開発者向けハンズオンを
    オプションにし Day2 に移動。

    View full-size slide

  23. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop 現状の構成の背景
    23
    Day3 開始編の内容と背景
    必要最小限の検証と最初のビジネス価値創
    出を 3 カ月以内に行うための計画を作成
    する。
    ワークショップ終了後チームが
    解散し、実現に向けた計画が立
    てられないことがあった。
    CTOは 3 ヶ月以内に優先度の
    高い突発案件に遭遇する統計か
    ら、3 ヶ月以内に検証・成果確
    認完了のマイルストンにたどり
    つけるよう計画。

    View full-size slide

  24. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop 今後の進化
    24
    v1.0 のお客様デリバリーも開始しており、得られた知見からすでに
    次期バージョンにむけて更新中。
    ココペリ様にはプレスリリース
    を出していただきました。
    お客様も AWS も絶対に成果出す
    しかない意気込みで臨んでます

    View full-size slide

  25. © 2023, Amazon Web Services, Inc. or its affiliates.
    © 2023, Amazon Web Services, Inc. or its affiliates.
    Agenda
    25
    1. AWS が ML Enablement Workshop を行う理由
    2. ML Enablement Workshop の歩み
    3. ML の未来に向けて

    View full-size slide

  26. © 2023, Amazon Web Services, Inc. or its affiliates.
    究極の MLOps が実現された状態とは ?
    26
    機械学習の魅力は、蓄積されるデータを基に学習することで半自動
    的にプロダクトを改善できること。
    Auto ML によるモデル構築は論文の世界からマネージドサービスで
    誰もが使える機能へ。構築だけでなく運用、 MLOps の自動化も進む
    と・・・

    View full-size slide

  27. © 2023, Amazon Web Services, Inc. or its affiliates.
    究極の MLOps が実現された状態とは ?
    27
    暇になる !?

    View full-size slide

  28. © 2023, Amazon Web Services, Inc. or its affiliates.
    機械学習専門職の活躍機会は、機会がない層へのアプローチ
    なしには増えない
    28
    約 20% :
    データを活用した
    製品企画や業務改
    善ができる人材が
    いる。
    約 8% :
    機械学習の効果を
    実感している企業
    機械学習に取り組む企業では
    AutoML / Auto MLOps で効率
    化が進みフルタイムで機械学習
    に取り組む必要性が薄れる
    IPA 「DX 白書 2023」の数字を集計し数値を算出
    約 80% :
    人材が不足し機械
    学習が活用できな
    いか効果が出てい
    ない企業

    View full-size slide

  29. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Product Manager: ML PdM への注目が高まる
    29
    LayerX 発表資料
    LLM の普及による機械学習の民主化と
    MLPdM の重要性
    バンダイナムコネクサス採用記事
    グループ内への機械学習システムの民
    主化を担う ML プロダクトマネー
    ジャー募集
    ML Enablement Workshop
    紹介いただきました

    View full-size slide

  30. © 2023, Amazon Web Services, Inc. or its affiliates.
    自ら機会を創ろう
    30
    機械学習が活用できるプロダクトチームを増やすために、
    ML Enablement Workshop の協力者を募集。
    • ML Enablement Workshop のコンテンツレビューへの参加。
    • ML Enablement Workshop のコンテンツを使ったフィードバック
    の共有いただく。
    • AWS に来ていただければ AWS が導入されている数多の企業での
    機械学習導入に関わることができます。
    活動、提供に関心ある方は DM ください!

    View full-size slide

  31. © 2023, Amazon Web Services, Inc. or its affiliates.
    Thank you!
    © 2023, Amazon Web Services, Inc. or its affiliates.

    View full-size slide