AI機能プロジェクト炎上の 3つのしくじりと学び

https://pmhub-findy.connpass.com/event/367179/

Transcript

1. AI機能プロジェクト炎上の 3つのしくじりと学び プロダクトマネージャーLT Night 〜⽣成AI機能の現場実践と失敗からの学び〜 株式会社asken プロダクトマネージャー nakawai (Kawai Naoki)
2. ⾃⼰紹介: nakawai (Kawai Naoki) 株式会社asken プロダクトマネージャー SIerや⼩規模ベンチャーを経て2020年askenに⼊社 • キャリアの特徴：エンジニアが⻑め ◦ エンジニア（2004〜2021。兼任いろいろ） ◦ エンジニアリングマネージャー（〜2023） ◦ プロダクトマネージャー(現在) • ⽣成AIとの関わり ◦ 2016年の「AIが描いた絵」に衝撃を受ける ◦ オンデバイスAIのスマホアプリ開発に挑むが挫折 ◦ 副業で個⼈アプリ開発中（AI駆動） © asken Inc. 1
3. © asken.inc 3 管理栄養士監修のアドバイスをもとに、食生活の改善を行う国内No.1※ の食事管理アプリ 管理栄養士からあなたの為の アドバイスが届く 食べたものを入力するだけで カロリー・栄養素を自動計算 ※日本国内App StoreとGoogle Playストア合算の「ヘルスケア（健康）/フィットネス」カテゴリにおける、2021年~2024年のダウンロード数および収益（2025年1月、data.ai調べ） プロダクト紹介：「あすけん」
4. © asken.inc 4 ひとびとの明日を今日より健康にする あすけんは、スマートフォン用の食生活改善アプリを基軸としてひとびとの食と健 康に関するサポートを行うサービスです。私たちは、栄養学をはじめとする、食と 健康についてのさまざまな知識と知見をもとに、確かな根拠に基づいたアドバイス を作り出します。 そして、テクノロジーの力を掛け合わせることで、誰もがそれぞれの心と状況に寄 り添った、真に行動に移せるアドバイスを得られる世界を実現します。 食習慣の改善を通じて世界中に健康な人を増やすこと。 それが私たちあすけんの掲げる使命であり、「ひとびとの明日を今日より健康にす る」という高い志をもって挑戦を続けます。 askenは、食×健康×テクノロジーを主軸に ビジネスを展開し、世の中に貢献し続けます 健康 テクノロジー 食・ 栄養学 askenのミッション
5. 皆さんにクイズです AI機能開発で、私が⼀番 「うわっ、難しっ！！！」 と思ったこととは？ 『〇〇〇〇の意思決定』 © asken Inc. 4
6. 正解はこちら AI機能開発で、私が⼀番 「うわっ、難しっ！！！」 と思ったこととは？ 『リリースの意思決定』 © asken Inc. 4
7. 本⽇みなさんに持ち帰って欲しいこと AI機能開発においてPdMは 「リリース判断基準」を 誰よりも考え抜くべき！ © asken Inc. 6
8. 何が起きたのか？ プロジェクト炎上と「意思決定の難しさ」に気づくまでの流れ デモで 「期待通り」と 錯覚 開発の終盤に 品質が不⼗分と 判明 プロンプト改修の 計画が機能せず 炎上突⼊ 「これを満たした らリリース」の 判断の困難さに 気づく © asken Inc. 7
9. なぜそうなったのか？ PJTメンバーによるふりかえりから得られた「3つのしくじり」 ①品質検知の遅延 「主観的な価値」の完成度が 曖昧なまま進⾏ ※客観的な要件（健康被害や 法令観点など）は厳密に評価 を仕組み化できていた ②改修計画が機能しない 複合的な要件を 満たすプロンプトの 完成が困難 ③完成判断の属⼈化 「主観的な価値」の開発や評 価が属⼈化し、チームで⽀援 しにくい © asken Inc. 8
10. 次、どうすべきか？ 「リリース判断基準」を開発の“序盤”から具体化していく （※ソフトウェア開発の基本😅） AI出⼒の要求を「テスト可能 な」レベルまで具体化 基準に基づき、典型的‧例外的 なケースを最初に⽤意する 評価の仕組み化 修正のたびに⾃動で品質を定量 評価し、スケール可能にする © asken Inc. 9 評価基準の明⽂化 評価データセット構築
11. 今後の課題 © asken Inc. 9 費⽤対効果の⾒極め • 網羅的な評価（とくに主観価値）は根本的にムリ • ⼈⼒⽬検と⾃動化、どう使い分ける？ • どうなってれば「リリースしよう」と思えるか？
12. まとめ AI機能開発のしくじりから得た学び AI機能開発の意思決定は難しい。特に「主観的な価値を含むリリース判断」は最⼤の難所 「リリース判断基準の曖昧さ」は、リリース直前の炎上を招く PdMは「リリース判断基準」を開発の序盤から考え抜き、チームで扱えるようにする © asken Inc. 10
13. 採⽤強化中！ ⼀緒に「しくじり」から学び、未来の「あすけん」を作りませんか？ © asken Inc. 11 🔥積極採用中ポジション • プロダクトマネージャー • テックリード • エンジニアリングマネージャー • iOSエンジニア • Androidエンジニア • バックエンドエンジニア • インフラエンジニア 🍏 あすけん採用公式X @asken_dev 勉強会イベント・テックブログ ・採用情報を発信中！ ぜひフォローお願いします!!
14. ご清聴ありがとうございました󰢙