キャリアアシスタントにおけるLLMの不確実性を制御するアプローチ

2026/2/27に、RECRUIT TECH CONFERENCE 2026で発表した池上の資料になります。

Transcript

1. RECRUIT TECH CONFERENCE 2026 現場の未来を拓くLLM活用、事業実装の全貌 キャリアアシスタントにおける LLMの不確実性を制御するアプローチ インディードリクルートテクノロジーズ 池上 顕真
2. 池上 顕真 魚 経歴 / Career 2017年にリクルートに新卒入社。 不動産領域（SUUMO）のデータサイエンティスト・機械学習 エンジニアとして、リコメンドシステムや一覧おすすめ順のロ ジック・システム開発などを実施 2024年よりHR領域に希望して移動。直近では、LLMを用いた 社内向け、社外向けのアプリケーション開発を担当 趣味 / Hobbies （株）インディードリクルートテクノロジーズ ＨＲプロダクト　 データ データソリューションユニット データサイエンス部 オンラインプラットフォームデータサイエンスグ ループ
3. 本日お話すること キャリアアシスタントにおけるLLMの不確実性を制御するアプローチ システム面でのアプローチ Router方式による安定化 シンプルなAgent構成（Router方式）を採用。 各Agentの役割を限定することで、 LLM特有の出力の不安定性を抑制。 Promptの共通資産化 Promptの再利用性を高める構成を設計。 将来のモデル変更に伴う修正箇所を極小化し、 保守性を担保。 プロセス面でのアプローチ 体験ベースの機能選定 プロトタイピングとユーザーヒアリングの反復。 自由度が高いゆえの見通しの悪さを、 「実際に触れる体験」を通じて早期に解消。 定性データの定量解析 曖昧なユーザーの会話をLLMで構造化し、 定量データへと変換。 定性データゆえの意思決定のしづらさを排除。
4. Agenda 1. キャリアアシスタントの紹介 2. アーキテクチャ 3. プロダクト開発プロセス
5. 働き方を変えたいときも、立ち止まりたいときも。 あなたの選択を支えるキャリア相談サービス「キャリアアシスタント」。 迷ったら、いつでもAIに相談を。
6. 「あなただけのキャリアの伴走者」をアプリで実現 現状と価値観の深掘り 対話形式の質問を通じて、ユーザーの 経歴や価値観を深掘りし、認識合わせ 働き方の方向性の提案 深掘りした価値観を元に働き方を提案 転職中の悩みを相談 選考対策や面接練習など、転職活動で 生じるあらゆる悩みを相談 1 2 3
7. Agenda 1. キャリアアシスタントの紹介 2. アーキテクチャ 3. プロダクト開発プロセス
8. AIエンジニアリングの特徴 「他の誰かが作成したモデルを利用する」という不確実性を、 設計でいかに吸収し、制御するかが重要 ※ ここでいうAIエンジニアリングとは「既存プラットフォーム、またはそれをファインチューニングさせた大規模言語モデルをサービングするプロダク トを開発すること」という定義としている。 Advantage Challenge 圧倒的な開発スピード 複雑・多様な出力形式 モデルへの高い依存性 出力の不安定性 高い精度を持つ生成モデルを、 API経由で即座に利用できる 自然言語、コード、画像など、 従来困難だった出力が可能 外部モデルの仕様変更や挙動変化 にプロダクトが影響されやすい 多様な形式を許容するがゆえに、 出力が安定しない
9. チャット画面のAgent設計 チャット画面では、キャリアに関する悩みをチャット形式で相談することができる 求人検索 希望やスキルに基づき、 対話を通じて求人を表示 会社分析 募集要項だけではわから ない社風や評判を提示 キャリア相談 将来の理想から逆算し、 今選ぶべき道を議論 自由対話 面接対策から退職交渉ま で、転職の不安を相談
10. チャット画面のAgent設計 Router: 対話の意図を理解し、最適な専門家へ 求人検索 Agent 会社情報 Agent キャリア相談 Agent 自由対話 Agent 「年収600万以上の求人を教えて」 「キャリアパスの相談をしたい」 「今の会社の評判はどう？」 Router Intent Analysis & Routing ユーザーの意図を解釈し、 最適なAgentをアサイン Agent個別定義による出力の安定化 Agentごとに内部処理や出力形式を定義することで、 LLM特有の出力の不安定性に対応 INPUT ORCHESTRATION EXPERT AGENTS POOL
11. Expert Agent設計（求人検索の例） 会社情報 Agent キャリア相談 Agent 自由対話 Agent 処理を分割しワークフロー化 処理を分割することで、テストがしやすく、 さらに安定性を増すことができる
12. 再利用性を高めるためのPromptのモジュール設計 COMPONENT S IMPLEMENTATIO N DIRECTORY Modules 共通で使い回すパーツを3つの概念で整理 Prompt Template モジュールを組み合わせ、最終的なPromptを構築 • Background : LLMの人格を定義 • Context : 会話履歴、レジュメなどの文脈情報を定義 • Instruction : LLMに対する期待する処理の具体的な指示を定義 background context instruction Prompt (Template)
13. Agenda 1. キャリアアシスタントの紹介 2. アーキテクチャ 3. プロダクト開発プロセス
14. 「触れる体験」と「試せる環境」の両輪で、価値あるUXを抽出 プロトタイプ作成 ユーザーヒアリング オンラインABテスト データ分析・改善 意思決定 & 機能選定 UXの自由度の高さ 複雑・多様な出力が可能であるこそ、 「できること」が多く、 最適なユーザー体験の探索が困難 Challenge Solution 定量定性のハイブリッド 「ユーザーの生の声」と 「実際の行動データ」の両輪で、 プロダクトの不確実性を極小化
15. 定性データの定量化: LLMによる「会話」の構造化 図: 会話内容の比率分析のイメージ図
16. まとめ（再掲） キャリアアシスタントにおけるLLMの不確実性を制御するアプローチ システム面でのアプローチ Router方式による安定化 シンプルなAgent構成（Router方式）を採用。 各Agentの役割を限定することで、 LLM特有の出力の不安定性を抑制。 Promptの共通資産化 Promptの再利用性を高める構成を設計。 将来のモデル変更に伴う修正箇所を極小化し、 保守性を担保。 プロセス面でのアプローチ 体験ベースの機能選定 プロトタイピングとユーザーヒアリングの反復。 自由度が高いゆえの見通しの悪さを、 「実際に触れる体験」を通じて早期に解消。 定性データの定量解析 曖昧なユーザーの会話をLLMで構造化し、 定量データへと変換。 定性データゆえの意思決定のしづらさを排除。