Agentic AI時代のプロダクトマネジメントことはじめ〜仮説検証編〜

Transcript

1. © Findy Inc. 1 Agentic AI時代のプロダクトマネジメントことはじめ 〜仮説検証編〜 2025.01.28 ファインディ株式会社 プロダクトマネジメント室 室⻑ 稲葉 将⼀
2. ⾃⼰紹介 イントロダクション 早稲⽥⼤学卒業後、新卒でリクルートに⼊社。国内転職事業にて、プ ロダクトデザイン‧プロダクトマネジメント‧海外HR事業にて、マー ケティング‧事業企画等を経験しFindyに⼊社。 2024年より、プロダクトマネジメント室を⽴ち上げ、室⻑を担当。 今年の⽬標は、ハーフマラソン5分/km切り🏃 稲葉 将⼀ プロダクトマネジメント室 室⻑ @bachio178 ファインディ株式会社 Masakazu Inaba
3. 生成AI時代にどう PMが生き残るか？ 仮説検証をテーマにお話します。
4. Takeaways アジェンダ 1. Agentic AI時代のプロダクトマネジメント • “Human in the loop” な仮説検証Ops 2. プロダクトマネジメント×⽣成AIの協働 • “AI Autonomy”な時代 を⾒据えたAIオンボーディング 3. プロダクトマネージャーに残される仕事とは？ • AIに勝る◦◦◦◦◦◦で⽣き残るべし
5. 技術 物理×デジタル世界の融合 進化 センサーやアクチュエーター により、AIが「⾝体」を得る PM⽬線 インタビューなどもAI⾃律す るなら、もはやPMいらな い？？ 技術 ⾼度なReasoning能⼒の実現 進化 AIによる⽬的達成に向けた⾃ 律的な⾏動の実現 PM⽬線 業務効率化が⽌まらな い、、、が、セーフティーラ インはどこ？？ AI時代の変遷 Agentic AI時代のプロダクトマネジメント Perception AI時代 Generative AI時代 Agentic AI時代 2020年代前半〜 2010年代〜 2023年頃〜 Physical AI時代 2024年頃〜 技術 多層ニューラルネットワーク 進化 画像認識や⾃然⾔語処理など 感覚的認識が飛躍的に向上 PM⽬線 AlphaGoすごい！レコメンド 精度、爆改善！！！ 技術 LLM⼤規模⾔語モデルの出現 進化 マルチモーダル⼊⼒や⻑⽂処 理能⼒の⼤幅な向上 PM⽬線 テキスト、画像、⾳声、動画 の⾃動⽣成。アウトプット⽣ 成捗る！
6. 質問：東⼤⼊試の数学問題どのくらい解けますか？ Agentic AI時代のプロダクトマネジメント
7. 現在地：GPT o1-proだと、約7割正答できるレベルに半年で急速に進化。 Agentic AI時代のプロダクトマネジメント 2024年12⽉ 2024年9⽉ 2024年5⽉ モデル：GPT-3.5 モデル：GPT-o1 モデル：GPT o1-pro 1点/120点 55点/120点 （合格ライン） 82点/120点 引⽤：https://t.co/KTjzQ0M8mc 引⽤ ：https://metaskilling.blog/chatgpt-o1-t oudai-math/ 引⽤ ：https://note.com/noboruando/n/n379 7fb744a08
8. 生成AIにはもう勝てない。。。
9. これからのAI時代でのPMの役割 Agentic AI時代のプロダクトマネジメント Artificial Superintelligence 時代 どんな世界？ リアル「ターミネーター」の世界 PMの役割 “ASI in Control”な時代。 今PMがやっている仕事はほとんど 代替されるはず。。。 Physical AI時代 どんな世界？ ⾃動運転や⼈型ロボットの世界 PMの役割 “AI Autonomy”な時代。 物理世界のデータを用いて、 AIが自 律的に行動する支援。 Agentic AI時代 どんな世界？ AI Copilotを従える世界 PMの役割 “Human in the Loop”な時代。 DBのデータを⽤いて、AIと協働し て、いかに ⽣ 産 性 を ⾼ めていく か。 ×
10. これからのAI時代でのPMの役割 Agentic AI時代のプロダクトマネジメント Artificial Superintelligence 時代 どんな世界？ リアル「ターミネーター」の世界 PMの役割 “ASI in Control”な時代。 今PMがやっている仕事はほとんど 代替されるはず。。。 Physical AI時代 どんな世界？ ⾃動運転や⼈型ロボットの世界 PMの役割 “AI Autonomy“な時代。 物理世界のデータを用いて、 AIが自 律的に行動する支援。 Agentic AI時代 どんな世界？ AI Copilotを従える世界 PMの役割 “Human in the Loop“な時代。 DBのデータを⽤いて、AIと協働し て、いかに ⽣ 産 性 を ⾼ めていく か。 × 本⽇のメインスコープ
11. Mixed Initiativeな時代で、AIと⼈間が両者共に主導権を握り合う Agentic AI時代のプロダクトマネジメント
12. Agentic AI時代の仮説検証におけるポイントは？
13. ⼈間の恣意性による”シナリオ”の正しさを証明する事 強いプロダクト組織は、事業状況に合わせた成⻑”シナリオ”を描き続けられる組織 そもそも仮説検証とは？ Agentic AI時代のプロダクトマネジメント
14. シナリオ設計イメージ例 Agentic AI時代のプロダクトマネジメント リリース〜2年⽬ ターゲット：SMB, MM 3年⽬〜 ターゲット：Global, Enterprise Outcome Metrics Proxy Metrics Invest ment 【SPF】新機能にリソース100%投下 【PMF】チャーン防⽌：新機能 = 3:7 【SPF】新機能のAdoption, Usage Rate、継続利⽤指標 【PMF】上記+オンボーディング指標 【SPF】導⼊社数、MRR 【PMF】上記+Gross Churn rate 【SPF】新機能：チャーン防⽌：リファクタ = 7:1:2 【PMF】新機能：チャーン防⽌：リファクタ = 4:4:2 【SPF】新機能のAdoption, Usage Rate、継続利⽤指標 【PMF】上記+Global, Entオンボーディング指標 【SPF】導⼊社数、MRR 【PMF】上記+Gross Churn rate Solution Product Fit Product Market Fit Solution Product Fit Product Market Fit
15. Opportunity Solution Treesの活⽤ Agentic AI時代のプロダクトマネジメント Opportunity (ユーザー⽬線の機会) Solution (機会提供する付加価値) Experiment (付加価値の仮説検証⽅法) Desired Outcome (指標) Opportunity (ユーザー⽬線の機会) Solution (機会提供する付加価値) Experiment (付加価値の仮説検証⽅法) 事業指標とユーザー価値検証の構造化を通じて、注⼒する機会の⽬線を合わせる
16. 【AI Autonomy】 シナリオ⾃体をAIに描いてもら い、AIが⾃律的にOpsを遂⾏す る 【Human in the loop】 ⼈ 間 が 設 計 したシナリオの 中 で、AIが⼀部Opsを代替する 【Human-Centered Design】 ⼈ 間 が 設 計 したシナリオの 中 で、⼈間がOpsを頑張る。 シナリオ実⾏における「Human in the loop」な仮説検証Ops Agentic AI時代のプロダクトマネジメント Phase1 Phase0 × Phase2 AIが⾃律的に実⾏するOpsの範囲を広げ、⼈間の恣意性を減らしつつ⽣産性向上へ
17. 【Phase2】 AI Autonomy 何をAIに任せ、何を⼈間が”実⾏‧評価”するか？ Agentic AI時代のプロダクトマネジメント ディスカバリー デリバリー シナ リオ 設計 市場 調査 仮説 設計 PRD 作成 情報 設計 要件 定義 開発 リ リー ス 効果 評価 仮説 FB 【Phase1】 Human in the loop
18. まず、業務フローにおける代替ポイントの精査 Agentic AI時代のプロダクトマネジメント ハイコンテクストなタスク ローコンテクストなタスク 発生頻度 低 発生頻度 多 戦略設計 インタビュー ライティング PRDレビュー 要件定義 IA, UI/UX設計 リリース案内 リファイン メント 事例リサーチ 競合リサーチ 施策評価 プレス リリース 障害対応
19. ⾼発⽣頻度×ローコンテクストなタスクから、AIへの代替可能性を探る Agentic AI時代のプロダクトマネジメント ハイコンテクストなタスク ローコンテクストなタスク 発生頻度 低 発生頻度 高 戦略設計 インタビュー ライティング PRDレビュー 要件定義 IA, UI/UX設計 プレス リリース リリース案内 リファイン メント 事例リサーチ 競合リサーチ 施策評価 障害対応
20. 40を超える レビュー観点を基に、AI botがPRDフォーマットに沿って改善点をフィードバック。 【ファインディ事例】PRDレビューbot プロダクトマネジメント×⽣成AIでのProduct Ops PRD作成 AI botレビュー ブラッシュアップ POレビュー 観点の⾔語化 botへFB
21. 40を超える レビュー観点を基に、AI botがPRDフォーマットに沿って改善点をフィードバック。 【ファインディ事例】PRDレビューbot プロダクトマネジメント×⽣成AIでのProduct Ops AIレビューアウトプット
22. 【ファインディ事例】UXライティングレビューbot プロダクトマネジメント×⽣成AIでのProduct Ops 20のライティングルールと⽤語集を基に、AI botがライティングをレビュー。 AIレビューアウトプット
23. AIによる自律的な仮説検証におけるポイントは？
24. 完全なAIによるタスクの自律実行は リスクが読み込みきれない事
25. 【Phase2】 AI Autonomy 【再掲】何をAIに任せ、何を⼈間が”実⾏‧評価”するか？ Agentic AI時代のプロダクトマネジメント ディスカバリー デリバリー シナ リオ 設計 市場 調査 仮説 設計 PRD 作成 情報 設計 要件 定義 開発 リ リー ス 効果 評価 仮説 FB 【Phase1】 Human in the loop 結局は、⼈がクオリティを担保する
26. ⼈による観点（ガードレール）の形式知化 • 評価‧報酬観点 • Ops観点 • 倫理的、ガバナンスリスク観点 • セキュリティリスク観点 AIの推論の精度を⾼めるナレッジの整備 • 何がOKで、何がNGなのか？何がDo’s で、何がDont’sなのか？の評価基準 • AIが推論するタスクに対して、フィッ トするナレッジの構造化 AI Autonomy を⾒据えた”ガードレール”としてのAIオンボーディング プロダクトマネジメント×⽣成AIでのProduct Ops ⽬指す状態 やるべき事 AIが形式知に沿って、⾃律的にシナリオ設計〜実⾏できるナレッジの提供がキモ ⼈が担保している”レビュー負荷”をどれだけ軽減できるか？
27.  ⼈によるレビュー観点の形式知化→AIのナレッジ化 ファインディのAIオンボーディングに向けたナレッジ設計へのトライ プロダクトマネジメント×⽣成AIでのProduct Ops 1.タスク毎のレビュー観点 の洗い出し • PM間で相互レビュー実施 • 週次でレビュー観点を洗い出 し&ストックを習慣化 2.レビュー観点を基にした FMT設計 • ストックされた観点からOps のフォーマットを設計&更新 • まずは、⼈が迷わない状態へ 3.FMTを基にAIによる タスク代替 • 週次でマネジメント中⼼にア ウトプット必須化 • Data Scientistと協働で実施 Goal
28. 週次で、メンバー間で、タスク毎のレビュー観点の洗い出しを実施 プロダクトマネジメント×⽣成AIでのProduct Ops 4ヶ⽉で、約200個のレビュー観点を洗い出し！！ 戦略、Ops、リサーチ、仮説設計、PRD、UI/UX設計、要件定義などで、Do's/Dont’sを形式知化
29. 【ファインディ事例】リサーチ設計におけるガイドライン観点 プロダクトマネジメント×⽣成AIでのProduct Ops そもそもリサーチ設計のガイドラインがなかったため、観点を基に、まずはフォーマット設計。 「リサーチ」レビュー観点 フォーマット設計
30. In) 顧客インタビュー動画 【ファインディ事例】インタビューによる仮説検証おけるガイドライン観点 プロダクトマネジメント×⽣成AIでのProduct Ops 顧客インタビュー結果をサマライズ‧評価するコストや解釈の揺らぎの防⽌へ。 フォーマットに沿ったインタビュー インタビュー結果サマリbot Out) 検証観点に対する評価
31. In) PRD上のユーザーストーリー 【ファインディ事例】情報設計タスクにおけるガイドライン観点 プロダクトマネジメント×⽣成AIでのProduct Ops IA設計やUI/UX検討時の考慮すべきポイントをAI botでサジェストし、再検討コストの削減へ。 「IA設計‧UI/UX」レビュー観点 検討ポイントサジェストbot Out) 情報設計、UI/UX検討時のポイント サジェスト
32. 【ファインディ事例】検証結果マネジメントにおけるガイドライン観点 プロダクトマネジメント×⽣成AIでのProduct Ops 検証結果を基に、AIに次の仮説検証のシナリオ設計について壁打ちできるAI bot 検証結果×「戦略」レビュー観点 In) 検証結果×現在の検証シナリオ 仮説シナリオ壁打ちbot Out) 事業‧プロダクトへインパクトが⾼い 仮説検証ポイントのサジェスト
33. ファインディにおける”Human in the loop”な仮説検証Ops（WIP） プロダクトマネジメント×⽣成AIでのProduct Ops ディスカバリー デリバリー シナ リオ 設計 市場 調査 リ サー チ PRD 作成 情報 設計 要件 定義 開発 デリ バ リー 効果 評価 仮説 FB Knowledge AI bot よりハイコンテクストな上流部分のナレッジ化→AI活⽤へトライ (未対応) (未対応)
34. AI Autonomyな効果検証における 人間として PMがすべきことは？
35. PMは、AIに勝る”感情の喚起”で⽣き残るべし プロダクトマネージャーに残される仕事とは？ • ⾳声や動作の知覚は代替するが、感情の理解はまだ先なのでは？ ◦ 感情‧本能‧欲にフィットできてるか？「Product Emotion Fit」？ • ⼈間の原理原則を知る。 ◦ 哲学、⼼理学、⾏動経済学、歴史上の失敗。 • ⼈間、世の中のパーセプションを変えにいく。 ◦ ⼈の潜在ニーズを喚起する⼒は、まだ⼈の⽅が⾼い。コミュニティ⼤事。 • AIも推論ベースなので、正解は知らない。正解はユーザーが持っている。 ◦ 悩んでる暇があれば、ユーザーに会う⼀択。 • （たぶん）オフラインコミュニケーション能⼒が最後の砦。 ◦ PMはソリューションセールス的なロールになっていくのでは？ ◦ 対⾯営業⼒。ヒラメ筋。⼀緒に⾛りましょう！🏃笑
36. Takeaways アジェンダ 1. Agentic AI時代のプロダクトマネジメント • ⽣成AIで、⾼頻度×低コンテキストタスクから徐々に代替 2. プロダクトマネジメント×⽣成AIの協働 • AIオンボーディングに向けた形式知のストック 3. プロダクトマネージャーに残される仕事とは？ • 感情を動かすための1次情報への泥臭いコミットメント • オフライン接点、コミュニティの相対的な価値向上
37. ご清聴ありがとうございました！