KPIだけでは評価できないプロダクトが考えるべき Evalsという第二の評価系 / Beyond KPIs: Evals as a Second Evaluation Framework for Products #PdEConf

プロダクトエンジニアリングカンファレンス2026の登壇資料です

Transcript

1. KPIだけでは評価できないプロダクトが考えるべき Evalsという第二の評価系 飯沼亜紀 Product / Strategy / Decision Making Aki Iinuma, 2026 1
2. Product / Strategy / Decision Making Aki Iinuma, 2026 2
3. 経歴 ソニーデジタルネットワークアプリケーションズ 経営企画→新規事業のプロダクトマネージャー ユニクロ / ファーストリテイリング プロダクトマネージャー、プロジェクトマネージャー、 新規事業 日本マクドナルド プロダクトマネージャー キャディ プロダクトマネージャー、プログラムマネージャー、 Head of Product Design Aki Iinuma 飯沼亜紀 𝕏: @LoveIdahoBurger Product / Strategy / Decision Making 2024年10月に独立、2025年9月より現職 やっていること オペレーションとテクノロジーの両方を使って世の中を良い方向に 変えていこうとしている野良プロダクトマネージャー Aki Iinuma, 2026 3
4. プロダクトマネジメント関連の発信をしています note メンバーシップ『Akiのコソコソ話』 著書『Noを伝える技術』 限定記事が読めるメンバーシップ 全国の書店‧Amazonにて好評発売中！ Product / Strategy / Decision Making Aki Iinuma, 2026
5. 本日の内容 • • • Evalsとは Evals設計しようとしたら困った話 Evalsを設計するとは何をすることか -------------ここまで必ず話す-------------- • KPIではなぜダメなのか Product / Strategy / Decision Making Aki Iinuma, 2026 5
6. Evals (Evaluations) とは AIの出力が自社にとって期待品質に合っているかどうかを継続的に確かめるための自社 専用評価セット のこと よく言われること： AIは出力が非決定的だから、従来のテストでは品質が測れないよね、だから新しい評価手 法であるEvalsが必要だよね！ ちなみに本日は Evalsの実装方法についてのお話は一切しません！！ Product / Strategy / Decision Making Aki Iinuma, 2026 6
7. ある会社にAIを導入した時のこと… CS対応にAIを導入するプロジェクトのはじまり • • 「よい回答」というものを定義するために問い合わせデータをたくさん集める 集まった問い合わせに対して「よい回答」のお手本をつくっていく 期待していたこと： • • 「よい回答」が定義されて、AIが賢くなる AIの出力に対して、それが「よい回答」になっているかどうかの評価ができる Product / Strategy / Decision Making Aki Iinuma, 2026 7
8. Product / Strategy / Decision Making Aki Iinuma, 2026 8
9. Evalsを設計するとは「良い仕事とは何か」を決めること • 実際にそういう話をすると「できない理由」がたくさん出てくる ◦ ◦ ◦ ◦ • 人によって違う 状況依存性が高すぎて、「この場合はこう」のルールが書けない 線引きが暗黙知になっていて、明文化できない 「お客様のために」のような漠然とした対応指針しか持っていない Evalsの設計は、自社が良い仕事と呼んでいるものを誰も定義していなかったことが露 呈する機会になることが多い Product / Strategy / Decision Making Aki Iinuma, 2026 9
10. Product / Strategy / Decision Making Aki Iinuma, 2026 10
11. Evalsを作るために必要なステップ • • • • 業務を棚卸しする 期待値を言語化する ベテラン同士で合意形成する 例外処理・線引きを明文化する 本来やるべきだったことがずっと放置されていたが、AIを導入しようとしたことでようやく進 むようになった、というのが今 Product / Strategy / Decision Making Aki Iinuma, 2026 11
12. 一度作ったら終わりではない • 継続的に見直して改善することが重要 ◦ • 動かしてみると想定していなかった失敗が出てくることはよくある ◦ ◦ ◦ • • プロダクトビジョン、ロードマップ、 KPIなどでも同じ話を聞いたな … 変な案内をしてクレームになった 特定のケースに弱かった 例外的な依頼が発生した 都度Evalsにも反映していく必要がある それにより評価セットが進化していく 長期的には、 AIの良し悪しは失敗を学習に変える仕組みをどれだけ持っているかで決まる Product / Strategy / Decision Making Aki Iinuma, 2026 12
13. Evalsはエンジニアに丸投げする仕事ではない • Evalsを設計するとはつまりこういうこと： ◦ ◦ ◦ ◦ ◦ • • 自社が何を「良い仕事」と呼ぶか定義する どの判断をAIに任せ、どこで人が責任を持つかの線を引く 例外を扱うルールを決める 期待値を実例レベルで明文化する 実運用を通じて育て続ける Evalsの結果を評価し必要に応じて対策を講じる際にエンジニアは必要になる しかし本質的なEvalsの設計には業務理解と経営視点も必要 Product / Strategy / Decision Making Aki Iinuma, 2026 13
14. まずやってみてほしいこと • • • 「良い仕事」の定義を決められる人を2人（またはそれ以上）集める 互いに相談せずに入力に対する「良い出力」を書き出す 突き合わせる →割れたところが未定義の場所 • ちなみに割れるのは答えだけではない ◦ ◦ ◦ ◦ ◦ トーン 否定の仕方 踏み込み・先回りの度合い 例外対応 etc... Product / Strategy / Decision Making Aki Iinuma, 2026 14
15. うまくいかないことを「 AIの問題」として諦めるか、 「自分たちの言語化の問題」として向き合うか Product / Strategy / Decision Making Aki Iinuma, 2026 15
16. つづく Product / Strategy / Decision Making Aki Iinuma, 2026 16
17. KPIを追っていれば変なことにはならない世界 • KPIが正しく改善していれば、品質も維持できているよね！ ◦ ◦ ◦ ◦ ◦ ◦ CVRが伸びている！ 件数が伸びている！ 工数が減っている！ コストが減っている！ 処理速度が上がっている！ などなど… KPIがこれだけ伸びているということはお客様が満足しているということだろう それはつまり、良い体験が提供できているということだろう Product / Strategy / Decision Making Aki Iinuma, 2026 17
18. 昔から「KPIが良いのに品質は壊れている」はあった • KPIハックは昔から起きていた ◦ ◦ ◦ • • 営業の架電件数を追っていたら、形式だけの短いコールが増えていった カスタマーサポートの対応件数を追っていたら、テンプレ回答ばかりで品質の良くない対応が増えて いった 開発のストーリーポイント消化を追っていたら、こなしやすい小さいチケットばかりが切られるようになっ た 本来は昔から、KPIとは別に「自社が期待する品質に応えるアウトプットが出ているか」 は見ていなければならなかった しかし「個人に対する信頼」が品質評価のかわりになっていた Product / Strategy / Decision Making Aki Iinuma, 2026 18
19. Product / Strategy / Decision Making Aki Iinuma, 2026 19
20. 人間はKPIの外にブレーキがあったがAIにはない 表の評価系： KPI CVR・継続率・応答率・ … 裏で働いていた力：ソーシャルな歯止め 同僚の目・顧客の反応・自分のプライド・罪悪感・… • • 裏の力があるから「KPIがよければだいたい品質も良いだろう」がどうにか成立してい た AIにはない→精緻なKPI設計が重要→では、品質のKPIって？ Product / Strategy / Decision Making Aki Iinuma, 2026 20
21. なぜ「KPIをしっかり設計しましょう」ではなくEvalsなのか • KPIはずっと同じところをぐるぐるしてしまうから ◦ ◦ ◦ • 品質はどうやったら数字にできる？その数字をどう取得する？ それらを考えると結局プロキシメトリクスをとることになる プロキシメトリクスをとるということは KPIハックの餌食になる 「自社にとっての良い仕事」を定義しそれに基づいてKPIとは別で評価するために Evalsが必要 ところで …「自社にとっての良い仕事」って定義されているんでしたっけ？ Product / Strategy / Decision Making Aki Iinuma, 2026 21
22. されてなさそう Product / Strategy / Decision Making Aki Iinuma, 2026 22
23. 「定義がない」という怖い気づき • • • この人が抜けたらもう誰も「良い仕事」を再現できないかもしれない 新しい人が入ってきたときに教育するための「良い仕事」の基準がないかもしれない 組織として「我々はこういうサービス品質でやっています」と言えるものがないかもしれ ない 組織の中で曖昧に進んできたものが炙り出されていく 結局難しいのは技術的にどう評価を組み込むかではなく「自社の自己理解の解像度をどう上げるか」だった Product / Strategy / Decision Making Aki Iinuma, 2026 23
24. Thank You Product / Strategy / Decision Making Aki Iinuma, 2026 24