生成系 AI 活用においてプロダクトマネージャーの重要性が増した説

「プロダクトを成長させる生成系 AI のユースケースを考えるワークショップ vol.2」で使用したスライドです。
https://productkintore.connpass.com/event/301832/

Transcript

1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⼤渕 ⿇莉 機械学習ソリューションアーキテクト Amazon Web Services Japan ⽣成系 AI 活⽤において プロダクトマネージャーの 重要性が増した説
2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽣成系 AI のユースケース例 2 ⽣成の対象は、テキスト、画像、動画、⾳声、⾳楽などさまざま。 プロダクトのプロモーション画像を⽣成 l ベースとなる画像と、⽣成画像のイメージを表すテキストを⽣成系 AI に⼊⼒ l 短時間で⼤量の画像を⽣成できるため、より良い画像を選べるようになった ⼈間が作成したテキストがガイドラインに準拠しているかチェック l チェック対象テキストとガイドラインを⽣成系 AI に⼊⼒ l ガイドラインに精通した⼈が時間をかけて実施していたことが⾃動でできるようになった 画像に有害なコンテンツが含まれていないかチェック l 画像を⼊⼒し、画像に含まれているコンテンツをテキストで出⼒ l 出⼒したテキストに対して、社内のガイドラインに準拠してるかを⽣成系 AI でチェック l 柔軟な画像のモデレーションが可能になった
3. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽣成系 AI は機械学習の⼀分野 ⼈⼯知能 (Artificial Intelligence, AI) ⼈間の知的判断をコンピュータ上で実現するための技術全般 機械学習 (Machine Learning, ML) 知的モデルを構築するためにデータの中の傾向を学習する技術 深層学習 (Deep Learning, DL) ⾳声・画像認識などのタスクを深い複数レイヤー構造の ニューラルネットワークで実現 ⽣成系AI (Generative AI) テラバイト規模のデータで数千億規模のパラメーターのモデルを学習 することで、追加学習なしに⼈間と同等のコンテンツ⽣成能⼒を実現 3
4. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ ⾃信 知識・経験 4
5. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ ⾃信 知識・経験 理解度 5
6. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信 知識・経験 理解度 機械学習の ビジネス活⽤的書籍を 読んだよ︕ ※個⼈の所感です 6
7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信 知識・経験 理解度 機械学習の ビジネス活⽤的書籍を 読んだよ︕ サンプルコードを ちょっと変えてみた︕ 機械学習の いろんな書籍を いっぱい読んだよ︕ ※個⼈の所感です 7
8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信 知識・経験 理解度 機械学習の ビジネス活⽤的書籍を 読んだよ︕ サンプルコードを ちょっと変えてみた︕ 機械学習の いろんな書籍を いっぱい読んだよ︕ ※個⼈の所感です 8 サンプルコードを実⾏したよ︕
9. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信 知識・経験 理解度 機械学習の ビジネス活⽤的書籍を 読んだよ︕ 機械学習の いろんな書籍を いっぱい読んだよ︕ ※個⼈の所感です 9 サンプルコードを ちょっと変えてみた︕ あれっ、 なかなかうまくいかない サンプルコードを実⾏したよ︕
10. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信 知識・経験 理解度 機械学習の ビジネス活⽤的書籍を 読んだよ︕ 機械学習の いろんな書籍を いっぱい読んだよ︕ ※個⼈の所感です 10 サンプルコードを ちょっと変えてみた︕ あれっ、 なかなかうまくいかない 実際のユースケースで 使えるか試⾏錯誤 ダメだ、 全然うまくいかない サンプルコードを実⾏したよ︕
11. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信 知識・経験 サンプルコードを実⾏したよ︕ 理解度 機械学習の ビジネス活⽤的書籍を 読んだよ︕ 機械学習の いろんな書籍を いっぱい読んだよ︕ ※個⼈の所感です 11 サンプルコードを ちょっと変えてみた︕ 実際のユースケースで 使えるか試⾏錯誤 あれっ、 なかなかうまくいかない ダメだ、 全然うまくいかない
12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML 実際のユースケースで 使えるか試⾏錯誤 あれっ、 なかなかうまくいかない サンプルコードを ちょっと変えてみた︕ ダメだ、 全然うまくいかない ここで⽌まりがち （だけどこの段階では理解度はそんなに⾼くない） サンプルコードを実⾏したよ︕ ⾃信 理解度 知識・経験 ※個⼈の所感です 12 機械学習の ビジネス活⽤的書籍を 読んだよ︕ 機械学習の いろんな書籍を いっぱい読んだよ︕
13. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 第⼀話 わかり合えないふたり 13
14. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信のてっぺんでエンジニアと会話すると プロダクトマネジャ エンジニア 機械学習を使えばレコメンドとかできるよね 今までのデータがいっぱい溜まってるはずだからモデル作って︕ データがあると⾔っても、必要なデータが あるかどうかもわからないのに。。。 もっとパッションを持ってやってくれないかな。。。 まずは必要なデータがあるか調査しますが、 モデルの開発には時間がかかりますし、 本番利⽤できる精度になるかはやってみないと分かりません。 ※極端な例です 14
15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. お互いがモヤモヤ プロダクトマネジャ エンジニア 15
16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. お互いがモヤモヤ プロダクトマネジャ せっかくいいアイデアを出したのに、全然実現できない︕ 技術だけじゃなくて、ビジネス側の事情もわかってほしいな 毎回無茶振りに対応するのめっちゃ疲れる。。。 技術的なことをもうちょっと勉強してくれないかなぁ 今⽇はプロダクトマネジャ側のアプローチを検討してみます。 エンジニア 16
17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽣成系 AI ならばコードに触らずここまでいける︕ ⾃信 知識・経験 理解度 ※個⼈の所感です ⾃社データを使って 何ができるか確認したよ︕ 思ったほど簡単じゃ ないけどこうすれば… ⽣成系 AI を試してみたよ︕ 17 機械学習の ビジネス活⽤的書籍を 読んだよ︕ 機械学習の いろんな書籍を いっぱい読んだよ︕
18. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 必要なのはアイデアと⽇本語⼒だけ︕ 18 お題︓ユーザからのフィードバックをもとに、より良いプロダクトを⽬指そう︕ ユーザからのサービスに対する以下のコメ ントに対してサービスの開発元が取りうる 対策を教えて。 <review> ほしい商品を買った後で、その商品がおす すめに表⽰されるのがうざい。 </review> - ユーザーの嗜好を学習するアルゴリズムを改善し、 すでに購⼊した商品がおすすめに表⽰されることを 減らす。 - おすすめ商品の表⽰ロジックを⾒直し、最近購⼊ した商品はおすすめから除外するなどの調整を⾏う。 - ユーザーにおすすめ商品を⾮表⽰にするオプショ ンを提供する。 - おすすめの表⽰⽅法⾃体を⾒直す。たとえば、定 期的におすすめ商品のセクションごとを⼊れ替えた り、表⽰する商品の種類を変更したりすることで、 ユーザーの嗜好に合わせて偏りを軽減できる。 - ユーザーにおすすめ商品の表⽰ロジックを説明し、 なぜその商品が表⽰されるのかを明確に伝える。 ⽣成系 AI に⼊⼒したテキスト 得られた出⼒
19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 会話のキャッチボールがいい感じに プロダクトマネジャ たしかに、いい感じですね。 ここをこうやるともっと良くなりそうですよ ⽣成系 AI を使うと、このデータを使ってこんな機能を作れそう。 この機能どう思います︖（実験結果を⾒せる） それも良いですね。これをプロダクトに 組み込むにはどれくらいの期間が必要ですか︖ 既存のデータを使ってできることがある程度わかってるので、 X週間あればできると思います。 エンジニア ※理想的な例です 19
20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. プロダクトマネジャの重要性が増した、のココロ 20 ⽣成系 AI の登場で、プロダクトマネジャが⾃分できる範囲が格段に広くなった l PoC のためにソースコードを書く必要がないのでやる気があればできる︕ l プロダクトとユーザに精通しているプロダクトマネジャだからできることがある︕ PoC の結果をベースにエンジニアと具体的な議論が可能になる l 叩き台があるとめちゃくちゃ議論しやすい︕ l プロダクトマネジャが何を⽬指しているのかがエンジニアにも理解できる︕ プロダクトマネジャが最新技術を直接使える時代に
21. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 第⼆話（最終回） ⾰新と失敗のあいだ 21
22. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽣成系 AI を使うべきか様⼦を⾒るべきか プロダクトマネジャ エンジニア ⽣成系 AI を使うと、こんな⾯⽩いことができますよ︕ たまに変な結果が出ますけど、⼤きな問題ではないはずです。 たまに変な結果が出るなんて、絶対ダメです︕ ユーザからクレームが来たら困ります。 ユーザが得られる価値を考えれば、許容してもらえるのでは︖ 不確実性を含む機能に対するユーザの反応が不安 許容してもらえなかったら⼤変なことになります。 今まで積み上げてきた信頼を失ってしまうかも。 22
23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 不安を軽減しつつ⾰新を狙うには ⼩さく始めてユーザからのフィードバックをもらい、課題を解決するサイクルを回す。 新しい機能を試すことが ⼤好きなユーザに提供 α版に対するフィードバックを 反映させて対象を拡⼤ α β リリース β版に対するフィードバックを 反映させてリリース 23
24. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 本当にそんなにうまくいくの︖ 24
25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 経験者に聞いてみましょう︕ 25