正解のないAIプロダクトをどう導くか？dodaが挑む、ユーザーの『本音』を構造化する評価設計と検証のリアル

Embed

Start on current slide

Slide 1

Slide 1 text

正解のないAIプロダクトをどう導くか？「doda」が挑む、ユーザーの『本音』を構造化する評価設計と検証のリアル会社名：パーソルキャリア株式会社所属部署名：カスタマープロダクト本部プロダクト企画統括部サービスデザイン1部氏名：田中志樹 / 渡部愛美 2026年5月12日 ※本資料は2026年5月時点の情報です

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© PERSOL CAREER CO., LTD. 4 4 田中志樹 Motoki Tanaka パーソルキャリア株式会社カスタマープロダクト本部ゼネラルマネジャー日系電機メーカーのISカンパニーに新卒入社。2014年よりリクルートキャリア(現: 株式会社リクルート)にて、中途転職領域のWEB サービスデザインに従事。その後、電通デジタルにて、大手通信キャリア様のDX支援コンサルタント、楽天にて、ECならびにポイント領域におけるプロダクトマネージャー職を経験。直近では組織開発や企業DX戦略の立案、生成 AI 活用、UX やデザイン思考による０→1 フェーズでのサービス設計に注力しており、 2021年10月からは鉄道・不動産事業会社における内製開発組織の立ち上げに参画。2024年7月より現職にて、PM組織強化やプロダクト戦略の策定/推進に従事。

Slide 5

Slide 5 text

© PERSOL CAREER CO., LTD. 5 渡部愛美 Watabe Manami パーソルキャリア株式会社カスタマープロダクト本部プロダクト企画統括部サービスデザイン1部リードディレクター 2020年より株式会社IBJにて婚活パーティー集客サイト・アプリのディレクターとしてマーケから申し込みCVRの改善、業務ツールの改修まで幅広く経験。2023年よりパーソルキャリア株式会社にてdodaの求人紹介サービスにおける応募・決定増加をKPIとしたプロジェクトに携わる。直近ではdodaにおける AIエージェントプロジェクトのプロジェクトリーダーとして中長期的なユーザー体験設計などを担当。

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© PERSOL CAREER CO., LTD. 9 HR業界におけるAIプロダクト事例 IndeedやWantedlyは、AIが求職者の転職価値観や希望条件についてヒアリングし、求人提案に繋げる機能（キャリアアシスタント、 AIエージェント）をリリース。求職者の強みやアピールすべき経験を言語化することで、転職活動の行動促進に繋げることが目的と推察。 STEP 1 職務情報の取得 ↑ resume.pdf 職務経歴書をアップロード or 入力フォームで経験・スキルを登録ファイルアップロードフォーム入力自動解析 STEP 2 希望条件のヒアリング Q: 転職理由は？ A: 成長したい Q: 希望職種は？入力中 ... AIチャットが悩みや希望条件を対話形式で深掘りヒアリングチャット形式深掘り質問リアルタイム STEP 3 強み・価値観の言語化分析力主体性調整力リーダーシップ問題解決潜在的な価値観と他社で活かせる強みをAIが整理・言語化 AI分析価値観整理強み発見 STEP 4 求人提案 & 応募 ★ マーケターマッチ度 96% ★ PM マネージャーマッチ度 96% 応募する → 棚卸しした希望・価値観に合致する求人をAIがレコメンドマッチングパーソナライズワンクリック応募 ▼画面イメージ

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© PERSOL CAREER CO., LTD. 11 求人紹介サービスにおいて、カウンセリング音声をAIが要約した文章（職務内容）を生成。 dodaのマイページ上で文章を提案し、ユーザーは確認・修正したうえで職務経歴書として活用可能にする機能をリリースする中で、LLM生成結果の品質評価方法について定義、実行した。【doda事例1】職務内容生成機能（キャリアアドバイザー業務ツール） 01 STEP 初期技術検証目的技術的実現可能性の担保ゴールモデル・プロンプト・インプットデータの型をFIX 主要検証観点 • 出力の正確性 • 基本品質の確認 • 小規模テストデータで実施検証環境：ローカル／開発環境評価方法：LLM精度検証（小規模） 02 STEP リリース前技術検証目的大規模データによる品質の厳密判定ゴールエッジケースを含む網羅的品質検証主要検証観点 • エッジケースを含むテストデータ拡充 • 大規模な人手評価の実施 • 定量スコアによる合否判定検証環境：開発環境（LLM品質特化）評価方法：LLM精度検証（大規模・人手） 03 STEP UAT／最終検証目的実際の業務フローにおける最終確認ゴール業務担当者によるUATと本番リリース判定主要検証観点 • UI/UX・操作性の検証 • レスポンス速度の確認 • 業務ツール上の操作性・統合動作検証環境：業務ツール統合環境（本番同様）評価方法：システムテスト＋業務検証（UAT） ▼機能概要 ▼検証ステップ・内容

Slide 12

Slide 12 text

© PERSOL CAREER CO., LTD. 12 【doda事例1】職務内容生成機能（キャリアアドバイザー業務ツール）品質評価の観点網羅性全ての出力項目とその項目内の内容が漏れなく記載されている正確性出力内容が入力内容と異なる情報がなく、矛盾する内容の場合は頻度が多い内容が事実として記載されている関連性保有スキルや経験の中で希望職種に必要とされる内容が重点的に書かれている公平性・バイアス性別、年齢、国籍など不当なバイアスの可能性がある内容が含まれていないコンプライアンス個人情報、機密情報の可能性がある内容が含まれていない具体性成果や業務内容が具体的に記載されているか簡潔性端的でわかりやすい文章となっているか「01.初期技術検証」では、コスト・生成時間・品質の観点から、同じインプットで生成した文章について評価を行いモデルやプロンプト形式などを策定。各モデルの生成結果を並べ、LLM検証と人手でスコアリングし評価を行った。初期検証・評価項目コスト各モデルごとのトークンあたりのコストと、想定利用数から年間コストを算出し比較生成時間文章生成までにかかる時間を各モデルごとに算出し比較品質生成された文章を各モデルごとに品質評価観点に基づき比較 ▼生成時間比較例

Slide 13

Slide 13 text

© PERSOL CAREER CO., LTD. 13 ユーザーがキャリアアドバイザーに対して求めていること（≒AIで代替できる領域）がどこなのかを探るためにユーザーインタビューを実施。AIの寄り添い方や問いかけ方の参考として企画参考に取り入れた。【doda事例2】AIエージェント企画時のユーザー調査 – ライフプランやプライベートを考慮したうえで「キャリアの方向性」「キャリアプラン」を考えたい – 20代後半に入っていく中で、ライフイベントがある可能性もあるため、視野に入れながら相談したい – 希望する企業に対して、自身のどのような強みが刺さるのか具体的に教えてもらいたい – 家庭の事情で選考に進むことができないことを伝えた際には、すぐに電話をしてくれた定量調査（アンケート）転職希望ユーザーのAI活用度、フォローを欲している具体的な状況を可視化。定性調査（インタビュー）回答者4名に、過去のフォロー体験をヒアリング。感情的な満足度とアドバイスの質を分析。 ※ユーザーインタビュー結果イメージ

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© PERSOL CAREER CO., LTD. 17 これからの話正しい答えを返すAIは、本当に「事業価値」を生んでいるのか？ ? Q U A L I T Y 答えは正しい。でも、誰も使い続けない。 ? E N G A G E M E N T 1つの機能だけで止まる。横に広がっていかない。 ? B U S I N E S S ユーザーは満足。でも、応募数は伸びない。 → KPI設計を「3層構造」で考え直す必要がある

Slide 18

Slide 18 text

© PERSOL CAREER CO., LTD. 18 LLM品質「だけ」では事業価値に届かない AIの「品質」は、価値体験を経て、はじめて事業価値になる B E F O R E 品質を直接KGIに繋げる従来モデル A F T E R 価値体験量を介する3層モデル層 3 K G I 層 2 中間 K P I 層 1 I N P U T 事業価値 NPS / 応募数 / 継続利用 ? ここが欠落している価値体験量という中間層がない AI品質・利用・コスト Goal Accuracy / 利用頻度 / CES × 事業価値 NPS / 応募数 / 継続利用価値体験量ユーザー単位の価値蓄積広さ × 深さ × 速さ × 成果 AI品質・利用・コスト Goal Accuracy / 利用頻度 / CES 出典: Google Cloud (Feb 2026) "The KPIs that actually matter for production AI agents" の3 Pillar構造（Reliability / Adoption / Business Value）を発展

Slide 19

Slide 19 text

© PERSOL CAREER CO., LTD. 19 モジュール価値到達率（仮説）価値体験量は4つの構成要素の関数で表現される — 各要素は実際の計算式まで定義可能 A R G U M E N T 1 Breadth 利用幅 (量) 横断モジュール数の比率 ▼ A R G U M E N T 2 Depth 利用深度ステップ完了率の加重平均 A R G U M E N T 3 Time to Value 速度初回価値実感までの時間 ★ A R G U M E N T 4 Outcome 成果成果到達セッションの比率 M o d u l e V a l u e R e a c h （モジュール価値到達率）の関数定義 MVR = f ( Breadth, Depth, TTV, Outcome Rate ) Breadth = 利用モジュール数 / 全提供モジュール数 Depth = Σ(モジュール内ステップ完了率) / モジュール数 TTV = 初回価値実感までの経過時間 Outcome Rate = 成果到達セッション数 / 全モジュール利用セッション数 ※ Outcome Rateの分子では Containment Rate（解決された風）ではなく Resolution Rate（実際の解決）を採用する出典: Pendo / Appcues の4軸フレームワーク（Breadth / Depth / Time to adopt / Duration of adoption）に準拠

Slide 20

Slide 20 text

© PERSOL CAREER CO., LTD. 20 パーソルキャリアのエンジニアブログです。“みんなの「はたらく」をテックでつくる”をコンセプトに、技術、組織、学びなど、さまざまな情報を発信しています。パーソルキャリアのデザイン組織のブランドサイトです。「デザインの力で、はたらくを変え、社会を変えていく。」をステートメントとし、デザインの価値を広める活動をしています。各社の現場で活躍しているITエンジニアやテクノロジー人材から、ITテクノロジーに関するさまざまなテーマの事例や知見が学べる勉強会コミュニティです。「NUTION（ニューション）」「techtekt（テックテクト）」「TECH Street（テックストリート）」パーソルキャリアのオウンドメディアご紹介

Slide 21

Slide 21 text

ご清聴ありがとうございました【免責事項】本資料に含まれる技術情報は発表日時点のものであり、予告なく変更される場合があります。実装や運用は自己責任で行ってください。発表者および所属組織は、本資料に基づく行動の結果について一切の責任を負いません。本資料に記載されている会社名・製品名などは、一般に各社の登録商標または商標、商品名です。資料内では ©, ®, TM マークなどは表示していません。