研究とプロダクト開発の境界を越えたチーミングでユーザーに価値を届ける

プロダクトマネージャーとして機械学習を学ぶ意味と、学ぶためのステップを解説した資料です。

Transcript

1. © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. 研究とプロダクト開発の 境界を越えたチーミングで ユーザーに価値を届ける 久保 隆宏 Developer Relation Machine Learning
2. © 2022, Amazon Web Services, Inc. or its affiliates. 本日持ち帰って頂きたいこと • プロダクトマネージャーとして機械学習(※1)を学ぶ意味がわかる。 • プロダクト開発チームで機械学習を学ぶステップとして、明日か らできること、1か月後からできること、3か月後からできること を確認する。 2 ※1: 私は機械学習の研究をしていたので、研究=機械学 習の研究、という文脈でお話しします。
3. © 2022, Amazon Web Services, Inc. or its affiliates. 3 Takahiro Kubo / 久保 隆宏 Developer Relations Engineer, Machine Learning Career 1. SAPコンサルタント(10年) + kintone エヴァンジェリスト 業務要件定義から開発、運用保守まで一貫した導入支援を実施。 SaaS連携による効率的な業務アプリケーションの開発を模索 している時にkintoneと出会い、エヴァンジェリストとして活動。 2. 機械学習エンジニア (5年) 自然言語処理の研究に従事。対話アプリケーションのプロトタイプ作成、 自然言語処理による企業の非財務情報評価に取り組む。研究部署在籍中、 「Pythonで学ぶ強化学習」「直感 Deep Learning」などを執筆。arXivTimes やNLP若手の会といったコミュニティ活動にも参加。 3. プロダクトマネージャー(2年) プロダクトマネージャーとして非財務情報参照・点検サービスの開発に携わる。 研究開発をプロダクト化する険しい道を泥まみれで進む経験をする。 非財務開示に携わる方、評価する方双方が使えるサービスです！ 4. Developer Relation (1年~) 機械学習を活用したプロダクトの開発を学び普及させるためにAWSへ。 Cybozu Days 2016
4. © 2022, Amazon Web Services, Inc. or its affiliates. 機械学習のDeveloper Relationsの活動 機械学習の学びから活用まで連続した成長体験を提供する 4 Learning Experimenting Prototyping 様々な大学、書籍のコードを AWSで学べるようにする。 Studio Labで学べる教材をま とめてCommunityサイトで公 開。 ハッカソンやコンペティション の開催支援。 特定の業務課題にフォーカスし た課題解決型ハンズオンも提供。 プロダクト開発チームを対象に、 機械学習のプロダクトでの活用を 支援するワークショップを提供。 詳細: ML Enablement Workshop SaaS on AWS 2022で Money Forward様と登壇
5. © 2022, Amazon Web Services, Inc. or its affiliates. Agenda • プロダクトマネージャーが機械学習を学ぶ意味 • プロダクト開発チームが機械学習を学ぶステップ 5
6. © 2022, Amazon Web Services, Inc. or its affiliates. 97%のプロダクトマネージャーは機械学習に関心を持って いない(※1) このスライドまでで10回ぐらい「機械学習」と言っていますが、皆 さんの反応としては多分・・・(実際のヒアリング結果に基づく) 6 機械学習は実装方法の一つ！ 開発チームはともかく自分自 身が学ぶ必要はない。 学ぶべきトピックだと 思うが時間がない ※1:プロダクト筋トレというプロダクトマネージャーが参加するコミュニティのSlackでは、全体で約 3,500名が参加している。そのうち「#9_機械学習活用」のチャンネル参加者数が98であるところから計算。
7. © 2022, Amazon Web Services, Inc. or its affiliates. 関心が薄いプロダクトチームへ研究者からアプローチする (=境界を超える)ためには、多くの手土産が必要。 私がプロダクト化の投資承認を得るキーとなった成果物(=手土産)。 7 見込み顧客のリスト 動作するデモ Usable Viable 開発協力パートナー Feasible
8. © 2022, Amazon Web Services, Inc. or its affiliates. 関心が薄いプロダクトチームへ研究者からアプローチする (=境界を超える)ためには、多くの手土産が必要。 研究開発部門、事業部門で手土産を得るために実施していたこと。 8 共同研究者にお客様候補とつな いでいただき、デモを提示 研究成果に加え、ドメイン知識 の学習とアウトプット 共同研究者の獲得 見込み顧客獲得 開発協力パートナー の獲得
9. © 2022, Amazon Web Services, Inc. or its affiliates. プロダクトマネージャーが機械学習を学んだ方が効率良く 境界を越えられる。 皆さんが感じるように、機械学習という技術はプロダクトを構成す る一技術要素に過ぎない。プロダクトを構成する大半の知識が豊富 なのはプロダクトマネージャーの方。 9 🙏実際、投資承認を得るための手土産は異動先の部長の協力なしには作成できなかった🙏 Viable Usable Feasible サービスメニュー表 市場調査 定量・定性フィードバック獲得 アプリケーション実装 コアアルゴリズム実装 収支計画見積り UI/UXデザイン オペレーションマニュアル作成 カスタマーサポート ・・・ ・・・ ・・・ プロダクトの価値
10. © 2022, Amazon Web Services, Inc. or its affiliates. 研究との境界を越えるメリットはあるのか? 売上(ユーザー数)やコストを非線形に変化させることができる。 10 私の場合は、(既存の)財務評価と異なる非財務評価のユーザーを獲得 運転する必要なし =運転できない人も ユーザーに レジに並ぶ必要なし =レジ設置費用/ 人件費を削減 手入力の必要なし =入力できない状況 の人もユーザーに
11. © 2022, Amazon Web Services, Inc. or its affiliates. 「充分に発達した科学技術は、魔法と見分けが付かない」 アーサー・C・クラーク 「クラークの三法則」より 11 「魔法が使えたらユーザー体験をどう変えられるか?」 と考えられるようになることは、根本的な課題解決アプ ローチの糸口になる。 研究を知ることは「魔法」を知ること。
12. © 2022, Amazon Web Services, Inc. or its affiliates. プロダクトマネージャーが機械学習を学ぶ意味 12 魔法のように ユーザーの課題を 解決するため！
13. © 2022, Amazon Web Services, Inc. or its affiliates. ※スライドに登場した2つの画像は テキストから生成した画像です (俗っぽく言えばAIに指示して描かせた) Stable Diffusionという機械学習の手法を使用しています 13
14. © 2022, Amazon Web Services, Inc. or its affiliates. Agenda • プロダクトマネージャーが機械学習を学ぶ意味 • プロダクト開発チームが機械学習を学ぶステップ 14
15. © 2022, Amazon Web Services, Inc. or its affiliates. プロダクトマネージャーを含むプロダクト開発チームが機 械学習を学ぶためにはどうすればよいか? 15 プロダクト マネージャー プロダクト 開発者 研究者 (データ サイエンティスト) 機械学習が使えそうか どうか判断をするため に、技術特性や適用事 例、限界を学ぶ必要が ある 機械学習をプロダクト へ組み込むために、 どのように実装される のか学ぶ必要がある ユーザーの課題を機械 学習で解ける問題に変 換するため、ユーザー の業務や課題を理解す る必要がある。 研究=機械学習の研究、という文脈でお話しします。
16. © 2022, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshopとは 16 プロダクトを開発するチームが、課題解決の選択肢として機械学習を 選択できるようになることをゴールとしたワークショップです。 目的： プロダクト機能を検討する プロダクト責任者、ビジネ スリーダーの方向けに ・AI/MLで何ができるか ・検討の進め方 をご理解いただく。 (座学: 5時間) PDM様向け ML PJの進め方 開発者様向け ハンズオン アイデアソン 目的： プロダクト責任者、エンジ ニア、研究開発者が共同で 顧客の課題分析を行い、機 械学習が価値を発揮する ユースケースを特定する。 (ワークショップ、4時間) 目的： プロダクトの開発を担うエンジ ニアの方に、 ・ML開発プロジェクトの工程 ・基本的な開発技術 ・開発時のコミュニケーション をご理解いただく (ハンズオン: 3時間)
17. © 2022, Amazon Web Services, Inc. or its affiliates. 17 ML Enablement WorkshopのコンテンツはGitHubで公 開しています。 https://github.com/aws-samples/aws-ml-enablement-workshop 無料でアクセス！
18. © 2022, Amazon Web Services, Inc. or its affiliates. 3つのコンテンツをそれぞれ学ぶことでプロダクトにおける 機械学習のユースケースを発見できるようになります。 18 目的： プロダクト機能を検討する プロダクト責任者、ビジネ スリーダーの方向けに ・AI/MLで何ができるか ・検討の進め方 をご理解いただく。 (座学: 5時間) PDM様向け ML PJの進め方 開発者様向け ハンズオン アイデアソン 目的： プロダクト責任者、エンジ ニア、研究開発者が共同で 顧客の課題分析を行い、機 械学習が価値を発揮する ユースケースを特定する。 (ワークショップ、4時間) 目的： プロダクトの開発を担うエンジ ニアの方に、 ・ML開発プロジェクトの工程 ・基本的な開発技術 ・開発時のコミュニケーション をご理解いただく (ハンズオン: 3時間) 個人で 明日から 学べる 開発者内で 日程を合わせ 1か月後ぐらいに 全員で日程を 合わせ3か月後 ぐらいに
19. © 2022, Amazon Web Services, Inc. or its affiliates. 19 ML Enablement Workshop: PDM様向けML PJの進め方 プロダクト機能を発案するPdM様向けにMLの技術、プロジェクト計画、体制についてインプット MLの入門 MLプロジェクトの計画 ML活用組織へのシフト
20. © 2022, Amazon Web Services, Inc. or its affiliates. 20 ML Enablement Workshop: 開発者様向けハンズオン データ分析からテストまで、各工程で必要になる実装技術とコミュニケーションを演習で学ぶ プログラミング演習 コミュニケーション演習 Jupyter Notebookを 使ったインタラクティ ブな演習 異なるロール間での連 携するためのコミュニ ケーション演習
21. © 2022, Amazon Web Services, Inc. or its affiliates. 機械学習活用プロジェクトの80%は失敗するといわれている。 失敗する理由Top5 21 1.ビジネスの目標がはっきりしていない 2. データの品質が不十分 3. プロジェクトのスポンサーが不在 4.チーム間の連携が不十分 5. データサイエンティストなどの専門職の不在 機械学習の専門家がいないという技術的な要素より、目標設定 やチーム間連携など非技術的な要素が大きく成否を左右する。
22. © 2022, Amazon Web Services, Inc. or its affiliates. 実際、開発者・研究開発者間のコミュニケーション不足で失 敗した！ 22 アプリケーション開発チームのプロジェクト管理方法を無視したこと で品質審査が大幅に遅延。なぜ「無視」が発生したのか? • 研究開発者: ルールの存在に気づいておらず、研究開発時の開発方 式で進めていた。 • アプリケーション開発者: 標準のルールを知ったうえで(部長と折衝 し)意図的に特殊な方法を取っていると思っていた。 研究開発者 アプリケーショ ン開発者 なんで教えてくれ なかった。 それは知っとけよ
23. © 2022, Amazon Web Services, Inc. or its affiliates. 23 コミュニケーション演習 コミュニケーション 演習があるのは、 後世絶対に同じ失敗 を繰り返してほしく ないから！ 自分や自分のチームが大切にしている「価値観」が共有さ れていなかったと気付いた時ほど信頼関係が破壊される瞬 間はない。
24. © 2022, Amazon Web Services, Inc. or its affiliates. 24 ML Enablement Workshop:アイデアソン プロダクトにおけるMLのユースケースの発見手法 ポストイット/付箋を利用しながらユーザー の業務と課題を可視化し、理解を共有でき る手法(Event Storming)をインプット。 ユーザーストーリーマッピングのように、ユーザーの行動を時系列順にポストイット で並べどこに課題や境界があるのか分析する。ソフトウェア設計の手法なので、ユー ザーの行動分析だけでなくマイクロサービス設計にもつなげられる点がメリット。 プロダクトマネージャー、開発者、研究開発者共同で、プロダクトの課題に対するMLのユースケースを発見
25. © 2022, Amazon Web Services, Inc. or its affiliates. 25 ML Enablement Workshop:アイデアソン プロダクトマネージャー、開発者、研究開発者共同で、プロダクトの課題に対するMLのユースケースを発見 What Is Event Storming? How Is It Key to Agile Strategy Success? より引用 Event Storming – innowacja w projektach ITより引用 Event Storming発案者の動画 https://www.youtube.com/watch?v=mLXQIYEwK24 プロダクト開発チームごとに分かれ、Event Stormingによりユーザーの業務と課題、課 題をMLで解決するプロセスを可視化。
26. © 2022, Amazon Web Services, Inc. or its affiliates. 実際、ユーザーの課題と機能の整合性がプロダクトマネー ジャーの頭の中にしかなくて失敗した！ 26 開発チームから、開発している機能がどう役に立つのかわからないと 不安のエスカレーション。ドキュメントに残していたが場所が忘れ去 られており自分も定期的に伝えていなかった(相手に伝わっていなけれ ば頭の中だけにあるのと同じ)。 Event Stormingで課題と機能の整合 性を「見える化」し、張り出して「目 に入る化」しておくことで全員で認識 を共有できる。
27. © 2022, Amazon Web Services, Inc. or its affiliates. 27 ML Enablement Workshopのアウトプットと用途 MLユースケース一覧 Event Storming Board 実施結果レポート 参加いただいたプロダクト開発チーム で発見されたML適用可能性がある ユーザーの課題の一覧。評価結果、実 現のための課題まで記入 フォーカスすべきユースケースの特定 に利用いただけます。 Event Stormingによりユーザー 行動、課題が可視化されたボード。 チームでの認識共有、マイクロ サービス化のための設計インプッ トに利用いただけます。 各ワークショッププログラムに対 するアンケート結果から、各チー ムの理解度やモチベーション、課 題を分析したレポート。 パイロットチームの選定、組織改 善施策検討のためのインプットに 利用いただけます。
28. © 2022, Amazon Web Services, Inc. or its affiliates. 非常に分かりやすい内容でした。 是非プロダクトに組み入れてユー ザのペイン解消に繋げたいと思い ました。ありがとうございます。 丁寧で平易な言葉を選んだ説明と スライドで、ML＝メーリングリ ストと思ってしまう私でも少し近 づきやすくなりました。 28 ML Enablement Workshop: Customer Voice PDM様向けML PJの進め方 開発者様向けハンズオン アイデアソン 元々データ分析の仕事をしていま したが、MLと同じ点だけでなく より考慮しなければならない点も あることがわかりとても勉強にな りました。 技術的な観点だけでなく、ビジネ ス的な観点なども含めて、他職種 とのやりとりが円滑に進むような レクチャーも含まれていた点がと ても良かった。 MLOpsの一連のステップについて 解説してもらえてイメージが湧い た。 機械学習プロジェクトを進める上 でステークホルダーを巻き込むこ とが重要だと考えていたので、コ ミュニケーション演習の内容はと てもためになりました。 プロダクトのユーザーの業務や課 題、また自社の組織的な課題を認 識することができた。 ML導入以前の課題の整理と、ML 導入につながる気づきがあり勉強 になりました。 今回はコンセプトレベルでの検討 でしたが、POCを実際に行ってみ たいと思います。
29. © 2022, Amazon Web Services, Inc. or its affiliates. おわりに 一つでも多くのチームが、 研究の境界を越え、 ユーザーに「魔法のような」 価値を届けてほしいです！ ML Enablement Workshopの資料について質問などあれば、気軽にGitHubの Issueへ投稿してください。 プロダクト筋トレの「#9_機械学習活用」にぜひご参加ください。 29
30. © 2022, Amazon Web Services, Inc. or its affiliates. 30 (最後に)ML Enablement Workshopの公開先 https://github.com/aws-samples/aws-ml-enablement-workshop
31. © 2022, Amazon Web Services, Inc. or its affiliates. Thank you! © 2022, Amazon Web Services, Inc. or its affiliates.