生成系 AI 活用においてプロダクトマネージャーの重要性が増した説

Slide 1

Slide 1 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⼤渕⿇莉機械学習ソリューションアーキテクト Amazon Web Services Japan ⽣成系 AI 活⽤においてプロダクトマネージャーの重要性が増した説

Slide 2

Slide 2 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽣成系 AI のユースケース例 2 ⽣成の対象は、テキスト、画像、動画、⾳声、⾳楽などさまざま。プロダクトのプロモーション画像を⽣成 l ベースとなる画像と、⽣成画像のイメージを表すテキストを⽣成系 AI に⼊⼒ l 短時間で⼤量の画像を⽣成できるため、より良い画像を選べるようになった⼈間が作成したテキストがガイドラインに準拠しているかチェック l チェック対象テキストとガイドラインを⽣成系 AI に⼊⼒ l ガイドラインに精通した⼈が時間をかけて実施していたことが⾃動でできるようになった画像に有害なコンテンツが含まれていないかチェック l 画像を⼊⼒し、画像に含まれているコンテンツをテキストで出⼒ l 出⼒したテキストに対して、社内のガイドラインに準拠してるかを⽣成系 AI でチェック l 柔軟な画像のモデレーションが可能になった

Slide 3

Slide 3 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽣成系 AI は機械学習の⼀分野⼈⼯知能 (Artificial Intelligence, AI) ⼈間の知的判断をコンピュータ上で実現するための技術全般機械学習 (Machine Learning, ML) 知的モデルを構築するためにデータの中の傾向を学習する技術深層学習 (Deep Learning, DL) ⾳声・画像認識などのタスクを深い複数レイヤー構造のニューラルネットワークで実現⽣成系AI (Generative AI) テラバイト規模のデータで数千億規模のパラメーターのモデルを学習することで、追加学習なしに⼈間と同等のコンテンツ⽣成能⼒を実現 3

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信知識・経験理解度機械学習のビジネス活⽤的書籍を読んだよ︕ サンプルコードをちょっと変えてみた︕ 機械学習のいろんな書籍をいっぱい読んだよ︕ ※個⼈の所感です 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信知識・経験理解度機械学習のビジネス活⽤的書籍を読んだよ︕ 機械学習のいろんな書籍をいっぱい読んだよ︕ ※個⼈の所感です 9 サンプルコードをちょっと変えてみた︕ あれっ、なかなかうまくいかないサンプルコードを実⾏したよ︕

Slide 10

Slide 10 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信知識・経験理解度機械学習のビジネス活⽤的書籍を読んだよ︕ 機械学習のいろんな書籍をいっぱい読んだよ︕ ※個⼈の所感です 10 サンプルコードをちょっと変えてみた︕ あれっ、なかなかうまくいかない実際のユースケースで使えるか試⾏錯誤ダメだ、全然うまくいかないサンプルコードを実⾏したよ︕

Slide 11

Slide 11 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML ⾃信知識・経験サンプルコードを実⾏したよ︕ 理解度機械学習のビジネス活⽤的書籍を読んだよ︕ 機械学習のいろんな書籍をいっぱい読んだよ︕ ※個⼈の所感です 11 サンプルコードをちょっと変えてみた︕ 実際のユースケースで使えるか試⾏錯誤あれっ、なかなかうまくいかないダメだ、全然うまくいかない

Slide 12

Slide 12 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信と理解度のギャップ – 従来のML 実際のユースケースで使えるか試⾏錯誤あれっ、なかなかうまくいかないサンプルコードをちょっと変えてみた︕ ダメだ、全然うまくいかないここで⽌まりがち（だけどこの段階では理解度はそんなに⾼くない）サンプルコードを実⾏したよ︕ ⾃信理解度知識・経験 ※個⼈の所感です 12 機械学習のビジネス活⽤的書籍を読んだよ︕ 機械学習のいろんな書籍をいっぱい読んだよ︕

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃信のてっぺんでエンジニアと会話するとプロダクトマネジャエンジニア機械学習を使えばレコメンドとかできるよね今までのデータがいっぱい溜まってるはずだからモデル作って︕ データがあると⾔っても、必要なデータがあるかどうかもわからないのに。。。もっとパッションを持ってやってくれないかな。。。まずは必要なデータがあるか調査しますが、モデルの開発には時間がかかりますし、本番利⽤できる精度になるかはやってみないと分かりません。 ※極端な例です 14

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. お互いがモヤモヤプロダクトマネジャせっかくいいアイデアを出したのに、全然実現できない︕ 技術だけじゃなくて、ビジネス側の事情もわかってほしいな毎回無茶振りに対応するのめっちゃ疲れる。。。技術的なことをもうちょっと勉強してくれないかなぁ今⽇はプロダクトマネジャ側のアプローチを検討してみます。エンジニア 16

Slide 17

Slide 17 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽣成系 AI ならばコードに触らずここまでいける︕ ⾃信知識・経験理解度 ※個⼈の所感です⾃社データを使って何ができるか確認したよ︕ 思ったほど簡単じゃないけどこうすれば… ⽣成系 AI を試してみたよ︕ 17 機械学習のビジネス活⽤的書籍を読んだよ︕ 機械学習のいろんな書籍をいっぱい読んだよ︕

Slide 18

Slide 18 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 必要なのはアイデアと⽇本語⼒だけ︕ 18 お題︓ユーザからのフィードバックをもとに、より良いプロダクトを⽬指そう︕ ユーザからのサービスに対する以下のコメントに対してサービスの開発元が取りうる対策を教えて。ほしい商品を買った後で、その商品がおすすめに表⽰されるのがうざい。 - ユーザーの嗜好を学習するアルゴリズムを改善し、すでに購⼊した商品がおすすめに表⽰されることを減らす。 - おすすめ商品の表⽰ロジックを⾒直し、最近購⼊した商品はおすすめから除外するなどの調整を⾏う。 - ユーザーにおすすめ商品を⾮表⽰にするオプションを提供する。 - おすすめの表⽰⽅法⾃体を⾒直す。たとえば、定期的におすすめ商品のセクションごとを⼊れ替えたり、表⽰する商品の種類を変更したりすることで、ユーザーの嗜好に合わせて偏りを軽減できる。 - ユーザーにおすすめ商品の表⽰ロジックを説明し、なぜその商品が表⽰されるのかを明確に伝える。⽣成系 AI に⼊⼒したテキスト得られた出⼒

Slide 19

Slide 19 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 会話のキャッチボールがいい感じにプロダクトマネジャたしかに、いい感じですね。ここをこうやるともっと良くなりそうですよ⽣成系 AI を使うと、このデータを使ってこんな機能を作れそう。この機能どう思います︖（実験結果を⾒せる）それも良いですね。これをプロダクトに組み込むにはどれくらいの期間が必要ですか︖ 既存のデータを使ってできることがある程度わかってるので、 X週間あればできると思います。エンジニア ※理想的な例です 19

Slide 20

Slide 20 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. プロダクトマネジャの重要性が増した、のココロ 20 ⽣成系 AI の登場で、プロダクトマネジャが⾃分できる範囲が格段に広くなった l PoC のためにソースコードを書く必要がないのでやる気があればできる︕ l プロダクトとユーザに精通しているプロダクトマネジャだからできることがある︕ PoC の結果をベースにエンジニアと具体的な議論が可能になる l 叩き台があるとめちゃくちゃ議論しやすい︕ l プロダクトマネジャが何を⽬指しているのかがエンジニアにも理解できる︕ プロダクトマネジャが最新技術を直接使える時代に

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽣成系 AI を使うべきか様⼦を⾒るべきかプロダクトマネジャエンジニア⽣成系 AI を使うと、こんな⾯⽩いことができますよ︕ たまに変な結果が出ますけど、⼤きな問題ではないはずです。たまに変な結果が出るなんて、絶対ダメです︕ ユーザからクレームが来たら困ります。ユーザが得られる価値を考えれば、許容してもらえるのでは︖ 不確実性を含む機能に対するユーザの反応が不安許容してもらえなかったら⼤変なことになります。今まで積み上げてきた信頼を失ってしまうかも。 22

Slide 23

Slide 23 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 不安を軽減しつつ⾰新を狙うには⼩さく始めてユーザからのフィードバックをもらい、課題を解決するサイクルを回す。新しい機能を試すことが⼤好きなユーザに提供 α版に対するフィードバックを反映させて対象を拡⼤ α β リリース β版に対するフィードバックを反映させてリリース 23