プロダクトオーナー向け生成AI支援サービスの仮説検証事例

AI駆動開発(AI-Driven Development) 勉強会（第2回） #aidd での発表資料です。

Transcript

1. プロダクトオーナー向け ⽣成AI⽀援サービス︓仮説検証事例 2024.05.29 ︓ AI駆動開発勉強会 KDDIアジャイル開発センター株式会社 松浦 洋介
2. 1 KDDI Agile Development Center Corporation ⾃⼰紹介 • 松浦 洋介（Yosuke Matsuura） • アジャイルコーチ（プロダクトオーナーリード） 認定スクラムプロフェッショナル 認定スクラムマスター 認定スクラムプロダクトオーナー • 2011年から某⼤⼿SIerにて、ISPや電⼒メーカー、 ⾃動⾞メーカー向けにアジャイルコーチを実施 • 2020年からLINE(現・LINEヤフー)のアジャイルコーチ として様々な組織やプロダクトの成⻑を⽀援 • 2024年1⽉よりKDDIアジャイル開発センター株式会社 に⼊社。現在、⽣成AI関連のプロダクトオーナーを担当 #趣味サウナ #仙台出⾝在住
3. 2 KDDI Agile Development Center Corporation ⽬次 • 本セッションの⽬的と概要 • プロダクトオーナーの役割と課題の洗い出し • ジャベリンボードを活⽤した仮説検証事例 • アンケート実施と結果分析 • PBI補完サービスのPoC開発 • 検証結果と考察 • リスクと対策、新しいサービスプラン • まとめ
4. 3 KDDI Agile Development Center Corporation 本セッションの⽬的と概要
5. 4 KDDI Agile Development Center Corporation 本セッションの⽬的 ⽬的 プロダクトオーナー向け⽣成AI⽀援サービスの仮説検証プロセスと開発事例の知⾒共有 期待する ゴール 新規サービス・プロダクトづくりを効果的に進める仮説検証の⼿法と事例を知る （⼿法︓ジャベリンボード、 事例︓PBI補完サービス） ⼿法︓ジャベリンボード 事例︓PBI補完サービス
6. 5 KDDI Agile Development Center Corporation 本セッションの概要 • ⽣成AI技術を活⽤した新規プロダクト 開発の仮説検証事例をご紹介 • 本セッションのターゲット ◦ AIを活⽤した新規サービス開発を している⽅、ご興味ある⽅ ◦ 関係者との合意形成や意思決定を スムーズに進めたい⽅ ◦ プロダクトオーナーやその⽀援者 概要 本⽇紹介予定の仮説検証プロセスの全体像 ユーザーリサーチ (インタビュー, アンケート) 市場リサーチ ⾃社における 課題認識 仮説の課題と解決策 仮説検証 MVP開発(PoC)と検証
7. 6 KDDI Agile Development Center Corporation AIの利活⽤で企画から開発着⼿までの期間を短縮 （ビジネスリリースが早くなり、ユーザーに価値を届けることが可能になる） ⽬的設定 Before 仮説⽴案 情報収集 情報整理 ドラフト 作成 仕上げ （判断） 仮説検証 ⽬的設定 After 仮説⽴案 AIで ドラフト 作成 仕上げ （判断） 仮説検証 開発着⼿ 開発着⼿ AIで作業を迅速かつ効率的に実施可能
8. 7 KDDI Agile Development Center Corporation プロダクトオーナーの役割と課題の洗い出し
9. 8 KDDI Agile Development Center Corporation プロダクトオーナー （PO）とは プロダクトの価値の最⼤化に対し責任を負い、開発機能の優先順位付けを⾏う • POは、プロダクトを使⽤する顧客やユーザーと、プロダクトを作る開発チームの橋渡し役 • POは、顧客ニーズ、ステークホルダーからのビジネス的要求事項を正確に把握し プロダクトの価値最⼤化に向けて、テクノロジー、サービスデザインの観点から 開発内容/開発優先順位を定めていく プロダクトオーナー （PO） スクラムマスター 開発メンバー 社内関係者 （事業責任者、営業部⾨） 社外関係者 （顧客、パートナー） ステークホルダーの 要求ヒアリング ユーザからの フィードバック スクラムチーム ステークホルダー （利害関係者）
10. 9 KDDI Agile Development Center Corporation 開発価値の選択・開発・振り返りのサイクルを⼀定周期で繰り返す 開発 スプリントレビュー＆振り返り 1 2 ユーザー ストーリーを作成 プロダクト バックログを作成 ユーザーストーリーベースで必要 なプロダクトの価値をリストアップ する。 開発チームにより動くものを作る。 成果物として動作するソフトウェアのデモおよびフィードバック、 改善事項（KPT）を話し合う。 価値1 価値2 価値3 価値4 スプリント計画会議 （1〜2週間に1回） スプリント期間内に開発する価値を選択する。 価値2 価値3 価値4 3pt 8pt 1pt 機能5 機能6 優先 順位 付け ⼯数 ⾒積 スコープ調整 3 4 5 価値1 8pt リリース 可能な プロダクト 複数回 スプリントを 繰り返す Keep Problem Try 価値1 価値2 価値3 価値4 参考︓アジャイル開発プロセス（スクラム）
11. 10 KDDI Agile Development Center Corporation よくあるプロダクトオーナーの課題感（1/2） 考慮すべき事項 が多岐に渡る プロダクト バックログの管理 POとしての役割や 振舞い⽅が不明 リリースや フィードバック対応
12. 11 KDDI Agile Development Center Corporation よくあるプロダクトオーナーの課題感（2/2） 課題感の例︓ • ビジョンとロードマップの策定と共有 • 優先順位の決定 • ステークホルダーとのコミュニケーション • プロダクトバックログの管理 • 要件の明確化と伝達 デイリー スプリント リリース ロードマップ ビジョン
13. 12 KDDI Agile Development Center Corporation プロジェクト検討当初は、初⼼者POの⽅が効率的に業務を進められるように 課題の洗い出しやインタビューを実施 レベル１ （初⼼者PO） レベル２ （PO） レベル３ （CPO） ビジョン・ ビジネスモデル 〇 ロードマップ 〇 〇 リリース 〇 〇 〇 スプリント 〇 〇 〇 デイリー 〇 〇 〇 メインターゲット 凡例︓◯（主に期待されている役割と権限の責任領域）
14. 13 KDDI Agile Development Center Corporation ジャベリンボードを活⽤した仮説検証事例
15. 14 KDDI Agile Development Center Corporation ジャベリンボードとは 効果的な仮説検証のフレームワーク（⽶国ジャベリン社が考案） 下記の流れで仮説を検証し、精度を上げていく 顧客は誰か? 課題は何か? 解決策は何か? 前提条件は何か? 検証⽅法と 達成基準は何か? 1 2 3 4 5
16. 15 KDDI Agile Development Center Corporation ジャベリンボードを活⽤した⽬的 顧客 課題 解決策 前提条件を明らかにして、顧客の本当の課題を⾒つける 短期間で成果を上げられるように仮説検証を素早く回して、精度を上げる 2 1 前提条件
17. 16 KDDI Agile Development Center Corporation ジャベリンボード（STEP1︓顧客は誰か︖） ペルソナ（想定する顧客をより具体的なイメージに落とし込んだもの）を検討し、関係者で共通認識・共通⾔語化 おすすめの進め⽅ • まずは、たたき台を⽣成AIで作成 • たたき台をもとに、関係者で議論。 より強い共感を持てるように修正していく • 名前は、特に重要。 今回は、はじめてPOを任命されたペルソナ のため「はじめさん」と命名した
18. 17 KDDI Agile Development Center Corporation ジャベリンボード（STEP2︓課題は何か︖ ） 想定顧客の課題について仮説を⽴てる おすすめの進め⽅ • まずは、想定顧客の⼀連の動きをカスタマージャーニーマップで作成 • 課題感の濃淡をざっと洗い出してみる • 仮説のため、時間をかけすぎないで課題を設定する （課題インタビューなどの検証・検証結果の学びに時間を使う）
19. 18 KDDI Agile Development Center Corporation ジャベリンボード（STEP3︓解決策は何か︖ ） 有効な解決策を検討する おすすめの進め⽅ • まずは、 たたき台レベルで良いので、解決策を検討し記載 • 課題の検証と前提条件の洗い出しがより重要なため、 最初の段階では省略可(課題の解像度が上がってから、解決策を検討するため) • 解決策の認識合わせには、絵（ペーパープロトタイプ等）を書くのがおすすめ
20. 19 KDDI Agile Development Center Corporation ジャベリンボード（STEP4︓前提条件は何か︖ ） 前提が崩れてしまうとアイデアが成り⽴たなくなってしまう「検証すべき前提」を可能な限り洗い出す おすすめの進め⽅ • 不明度とインパクトの2軸で整理すると最優先の前提の認識合わせがしやすい （1︓今すぐ検証する＝前提が崩れた時のインパクトが⼤きく、かつ検証が必要な前提条件）
21. 20 KDDI Agile Development Center Corporation ジャベリンボード（STEP5︓検証⽅法・検証基準を決める） 事前に、どの基準を達成したら仮説は正しいとみなすかを決めておくことで、軌道修正がしやすくなる おすすめの進め⽅ • まずは、課題インタビューを⾏い、課題仮説の解像度を上げていく （場合によっては、アンケートやデータを探したりするケースもあり） • 課題インタビューのコツ︓ ◦ 実施しやすい⼈数に設定する ◦ ⾃分の思い込みを捨てて、素直な態度で話を具体的に代替案も聞く ◦ 事前に検証基準を決めておく • 例︓Yesと答える⼈が何割以上ならば、前提が成り⽴つと判断する ◦ 解決策ではなく課題を定量的に尋ねる • 例︓この課題の苦痛度合いは5段階で評価するとどれくらいですか︖
22. 21 KDDI Agile Development Center Corporation ジャベリンボード 課題インタビュー、ソリューションインタビュー結果をもとに、課題と解決策を更新。実験の絞り込みを実施
23. 22 KDDI Agile Development Center Corporation アンケート実施と結果分析
24. 23 KDDI Agile Development Center Corporation アンケート調査概要 • アンケート調査の⽬的 ◦ POの課題と解決策に対するニーズ調査、そのボリューム数を把握 • アンケート調査を通じて明らかにしたいこと ◦ POの課題とニーズは何か ◦ 仮説の検証（検証結果と達成基準状況、学び） • 事前に課題インタビューを9名に実施した内容の課題感がアンケート回答者も同じ認識かを検証する • デモ動画を視聴してもらい、5段階評価の4点（課題解決に近づきそう）と回答する⽅が6割いるかを検証する • アンケート調査対象者 ◦ KDDIグループ会社 • PO実践者、PO経験者、POリード • PO⽀援しているSM、アジャイルコーチ、マネージャー、エンジニアなど • アンケート調査回答者数︓31名 • 実施期間︓2024年3⽉6⽇〜3⽉15⽇
25. 24 KDDI Agile Development Center Corporation PO業務の課題感のもっとも⾼い項⽬ 課題感の第1位は「ステークホルダーとの合意形成の準備に時間がかかる」と63%の⽅が回答した 問︓POとして業務の負担や課題を感じる度合いが⾼い項⽬について その優先順位を教えてください。
26. 25 KDDI Agile Development Center Corporation アンケート調査結果サマリー PBI補完が「課題解決に近づきそう」という回答が58%と最も多かった。SM版のチェックリストも欲しいとコメントあり POの課題 課題への解決策 回答結果 • POとして、どのタイミングで、何 を、どういうやり⽅で対応すれば 良いのか、わからない • PBIの記載内容に⾃信が持てない • ステークホルダーとの合意形成の 準備に時間がかかる • POが何をすべきか全体像を時系列 で知ることができる • プロセス毎にPOが何をすべきかを 知ることができる • PBIの記載内容を補完してくれる • ステークホルダーを説得する グラフ等の情報や要約が⽣成され る • 課題解決に近づきそうと49%の 回答あり • 「作業の抜け漏れ防⽌のチェック リストにも使えそうなのでSM版 も欲しい」とコメントあり • 課題解決に近づきそうと58%の 回答あり • 「AC（受け⼊れ条件）の⾃動記述 だけでなく、⽂章の校正にも使え そう」とコメントあり • 課題解決に近づきそうと52%の 回答あり • 「資料作りの時短になる」と コメントあり
27. 26 KDDI Agile Development Center Corporation PBI補完サービスへのコメント抜粋 • ⾮常に解決に近づくと評価したコメント︓ ◦ リファインメントでの書き直しが減り、事前に推敲されることで業務効率が向上。(PO実践者:経験3ヶ⽉未満) ◦ ⼀定レベルのチケットになるため、開発側からの質問が減り、スムーズな進⾏が期待できる。(SM:経験2年以上) • 解決に近づきそうと評価したコメント︓ ◦ 受け⼊れ条件(AC)の⾃動記述に加え、⽂章の校正にも利⽤可能。(PO実践者:経験3ヶ⽉未満) ◦ 書き⽅がわからない⼈にとって有益。(POリード︓経験6ヶ⽉­1年未満) ◦ ⽂章をうまく書くのが難しい場合でも助けになる。(PO実践者︓経験2年以上) ◦ 時間短縮が可能だが、⽣成内容に依存する場合はサポートが必要。(SM︓経験2年以上) ◦ 便利だが、内容を正しく理解しないと開発側に混乱を招くリスクがある。(SM︓経験2年以上)
28. 27 KDDI Agile Development Center Corporation PBI補完サービスのPoC開発
29. 28 KDDI Agile Development Center Corporation PBI補完サービスの概要 画⾯イメージ 概要構成図 PBI(プロダクトバックログアイテム)に関する⽂章や画像を⼊⼒することで、PBIの内容を補完します 弊社（KAG）の過去PBIとGitHubから類似したPBIを検索し、⽣成AIへインプット(RAG) RAGAS,ABテスト,5段階評価指標など、様々な評価を実施
30. 29 KDDI Agile Development Center Corporation PBI補完サービス 補完前（Before） 補完後（After）
31. 30 KDDI Agile Development Center Corporation 検証結果と考察
32. 31 KDDI Agile Development Center Corporation 社内ドックフーディングでの検証結果 操作性 の評価 • ⾮常にシンプルで使いやすいと⾼評価 • 再補完機能で、補完結果を⼊⼒欄に簡単にコピーできる点が便利 違和感に 感じる箇所 • 画像読み込み後の補完精度に課題があるとの指摘あり（例︓クーポン⼊⼒項⽬の認識ミス） • それでも効率化が図れるとの意⾒ 全体の 感想 • 受け⼊れ条件（AC）の漏れを防ぎ、記⼊の⼿間を省ける • ユーザーストーリーを書くだけで受け⼊れ条件が⾃動⽣成される点が 仕様策定に役⽴つ • ChatGPTの出⼒と⽐較しても、実運⽤に耐える内容で補完されるACの質が⾼い • PBIを新規に作成する⼿間と時間が短縮できた
33. 32 KDDI Agile Development Center Corporation 考察 サービス 利⽤者 (ターゲット) • 検証はPOだけでなくスクラムメンバーにも⾏っており、その結果スクラムマスター （SM）にも好意的に受け⼊れられることがわかった 有効性 • スクラムチーム内の共通認識を迅速に合わせる際に有効性あり • 特に新規でスクラムチームを⽴ち上げる際は、新しいPBIをどのように作成するか 迷ったり、業務負荷に感じることが多いため有効な対策と考えられる
34. 33 KDDI Agile Development Center Corporation リスクと対策 新しいサービスプラン
35. 34 KDDI Agile Development Center Corporation リスクと対策 • 内容を正しく理解しないと混乱を招くリスク • ハルシネーションのリスクが存在する リスク 対策 • 専⾨家のサポートも必要
36. 35 KDDI Agile Development Center Corporation 新しいサービスプラン 新しい サービスプラン • ⽣成AIを活⽤したPBI補完サービスと 経験豊富なエキスパートの実践知の両⾯でPOをサポートする （内製開発⽀援サービス）
37. 36 KDDI Agile Development Center Corporation （参考）プロダクトオーナーリード（POリード）とは ※引⽤：当社の会社情報のPURPOSE、VISION <https://kddi-agile.com/company> POを⽀援しビジネス・サービスデザイン・テクノロジーをつなぎ成果に貢献する POリードは、初めてPOを担うお客様でも その役割を果たせるよう伴⾛⽀援を提供 スクラムガイドには定義されていない 「POリード」という役割を設置した背景 • お客様POは社内外を含めた多くの関係者との会話や意思決定が必要 • スキルやリソースの⾯でPO業務を⼀⼈で実⾏するのが難しいため、 お客様からPO業務がうまく回らないという理由で⽀援の依頼が増加 • お客様POを⽀援することで、より効果的なアジャイル開発・スクラム を実現し、「変化と共に成⻑し続ける社会を創る(※)」を⽬指します • お客様POへのスクラム導⼊を指導、トレーニング、コーチングします • POリードの⽀援を通じて、プロダクト価値の最⼤化と成果への貢献を ⽬指し、お客様POが必要なプロセスを理解し、⾃⽴を⽬指します
38. 37 KDDI Agile Development Center Corporation まとめ
39. 38 KDDI Agile Development Center Corporation （再掲）本セッションの⽬的 ⽬的 プロダクトオーナー向け⽣成AI⽀援サービスの仮説検証プロセスと開発事例の知⾒共有 期待する ゴール 新規サービス・プロダクトづくりを効果的に進める仮説検証の⼿法と事例を知る （⼿法︓ジャベリンボード、 事例︓PBI補完サービス） ⼿法︓ジャベリンボード 事例︓PBI補完サービス
40. 39 KDDI Agile Development Center Corporation ジャベリンボードを活⽤し仮説検証した結果、わかったこと • PBI補完サービスで、プロダクトオーナーやスクラムチームをサポート • 前提条件や検証基準のデータをもとに仮説検証することで、 関係者との合意形成や意思決定がスムーズに進む • ⽣成AIを活⽤したPBI補完サービスと経験豊富なエキスパートの実践知の両⾯で POをサポートしていく必要あり • ⽣成AIは技術⾰新が早いため、技術検証中に新しいモデルが出てくる。 だからこそ、ユーザーファーストで、価値のあるプロダクトを検証していく必要あり
41. 40 KDDI Agile Development Center Corporation （参考）本⽇プレスリリース公開 https://kddi-agile.com/news/20240529-01
42. 41 KDDI Agile Development Center Corporation ⽣成AIをスクラムチームに⼊れて 価値の最⼤化へ取り組んでいきましょう︕
43. 42 KDDI Agile Development Center Corporation What’s KAG? 約10年間“アジャイル開発”にこだわり続けてきたDX専業のエンジニア集団 2022年にKDDI本体からスピンアウトする形で新会社設⽴ 社名 KDDIアジャイル開発センター株式会社 所在地 東京都港区⻁ノ⾨⼆丁⽬10番1号（本社） （舞鶴/三島/那覇/札幌/⾼崎/秋⽥/福岡） 代表取締役社⻑ ⽊暮 圭⼀ 事業内容 アジャイル開発事業および保守事業 設⽴年⽉⽇ 2022年5⽉12⽇ 社員数 187名 職種⽐率 エンジニア82%、デザイナ9%、その他9%
45. Be a Change Leader. アジャイルに⼒を与え 共に成⻑し続ける社会を創る