「高い不確実性」を解消する「高い再現性」 / 2025.09.14 プロダクトヒストリーカンファレンス（YOUTRUST）

こちらのイベントでの登壇資料になります。
https://findy.connpass.com/event/363543/

Transcript

1. 高い不確実性 を解消する 高い再現性 Shumpei Miyawaki (@catshun_) 資料は公開してます！ リラックスしてお聞きください！
2. 5分だけ Algomatic Works の紹介を させてください！
3. 採用担当者が「 」に向きあえる環境づくりを支援します！ ひとが価値を出すべき業務 ※ 導入企業A社のコメントを引用 現場の声から生まれた採用支援AIエージェント 採用担当者が審査結果を納品 レジュメを ドラッグ&ドロップ Eメールで レジュメを受付 AI人材リクルーターが 履歴書の山から瞬時に マッチする応募者を 事前にピックアップ ◦◦経験 △△経験 スキル 母集団形成 採用計画 担当者 リクルタAI スカウト 書類選考 低次面接 高次面接 人の判断が 価値を生む 人の信頼関係が より価値を生む 人の判断基準に従った 一定水準以上の価値を提供 たくさん すばやく （参考）みずほリサーチ&テクノロジーズ, AI利活用がもたらす日本経済への影響 (2025) プレ面談 書類選考 ──　実際にリクルタをどのように活用されましたか？ リクルタの導入後は、AIエージェントによる自動スカウトと、カスタマーサクセス担当 者による手厚いサポートを活用してきました。AIの精度が徐々に上がっていき、 私たちのイメージする人材像により近い候補者の発掘ができるように なりました。 ──　リクルタ導入の効果はいかがでしたか？ 最も大きな成果は、先月にビジネスコンサルタントの採用に成功したことです。このポ ジションは約3年間、エージェント様からなかなか候補者をご紹介いただけない状況が 続いていました。市場に候補者が少なく採用競合も多い中で、優秀な人材を採用できた ことは、大きな成果でした。 ダイレクト採用 採用方針や想いを反映 カレンダーをあけて待つだけ
4. 高橋 - あらゆる産業を「ネオ化」する ― 生成AIネイティブな事業のレシピ (2024), https://note.com/dory111111/n/n84e0f7e9a533 私たちがなにを目指しているか？ 100x
5. JR東日本社 - 労働市場の今と未来 人口減少社会に挑む鉄道技術(2020) ※引用元：パーソル総合研究所「労働市場の未来推計 2030」
6. 労働人口減少 という 確定的な未来 JR東日本社 - 労働市場の今と未来 人口減少社会に挑む鉄道技術(2020) ※引用元：パーソル総合研究所「労働市場の未来推計 2030」
7. 高橋 - あらゆる産業を「ネオ化」する ― 生成AIネイティブな事業のレシピ (2024), https://note.com/dory111111/n/n84e0f7e9a533 私たちがなにを目指しているか？ 人口ボーナス期に支えられた 労働集約型産業の構造を変える 働く人の1日の価値を 100x にする
8. 高橋 - あらゆる産業を「ネオ化」する ― 生成AIネイティブな事業のレシピ (2024) Sell Work, Not Software 10人分の野菜を切る 10人分の野菜を炒めて煮込む 10人分のカレーを皿に盛り付ける
9. 高橋 - あらゆる産業を「ネオ化」する ― 生成AIネイティブな事業のレシピ (2024) Sell Work, Not Software 10人分の野菜を切る 10人分の野菜を炒めて煮込む 10人分のカレーを皿に盛り付ける 100x 「10人分のカレーを効率的に作る」ではなく 「1000人分のカレーをどう作るか」
10. 高橋 - あらゆる産業を「ネオ化」する ― 生成AIネイティブな事業のレシピ (2024) Sell Software Work, Not 1000人分の野菜を切る（100x） 10人分の野菜を炒めて煮込む + 990人分の野菜が調理待ち... 10人分のカレーを皿に盛り付ける + 990人分の皿なんてない！
11. 高橋 - あらゆる産業を「ネオ化」する ― 生成AIネイティブな事業のレシピ (2024) Sell Work, Not Software AIツールを提供するだけではなく、業務のあり方から見つめ直す
12. 転職活動には時間がかかる 転職活動スタート 〜 内定・入社 の日数 ※パーソルグループ（2025） 求人公開 〜 最初の採用決定報告 の日数 ※ Indeed 調べ（2025/01） 42 日間 3 ヶ月 リクルートホールディングス - 就業までに掛かる時間を半分にする doda - 転職活動にかかる期間の目安は？スケジュールの立て方を解説 (2025) 企業側も時間がかかる 求職者も時間がかかる
13. （高速化）ルーチンワーク・量的施策が必要な中流業務を代行 （参考）みずほリサーチ&テクノロジーズ, AI利活用がもたらす日本経済への影響 (2025)
14. 興味ある方はお話ししましょう！ はたらく人の1日の価値を100倍にする Sell Work, Not Software 人とAIの価値を最大化する こちらの書籍もぜひ チェックしてみてください！
15. ここからが本題 「高い不確実性」を解消する 「高い再現性」
16. 最近の GPT-5, Gemini-2.5 は 言語の扱いがすごくいい
17. でも業務で使うとなると どれくらい機能するのか不明
18. でも業務で使うとなると どれくらい機能するのか不明 どうして
19. やってみないと分からない不確実性の高さ コンテキスト タスク設定 モデル品質 コンセプトの曖昧さ 出力のプロンプト依存 複雑になるほど性能低下 非決定論的なAIの性質に立ち向かわないといけない
20. 揺れるコンセプトに追従する なにが難しいか
21. プロジェクト初期段階では「やりたいこと・目指す姿」が明確でないことが多い 品質評価の基準は運用によってはじめて浮き彫りになることが多い 21 コンセプトは揺れまくる（＝概念・評価指標のドリフト） 徐々に正解へと 近づいていく 要件の許容範囲 時間とともに変化する 顧客コンセプトに 喰らいつく必要がある 開始地点 開始地点 顧客の開始地点 こうだと思っていたもの 実際はこうだった 要件の許容範囲
22. 潮の流れが速い LLM プロダクトにおいては 「小さくはやく回しまくる」のが成功のカギ 22 不確実性の高いプロジェクトでは「障壁の解体」を優先する 初期段階では「AIでなにが・どこまでできる」という情報の非対称性（障壁）が存在する まずは精度感・リスクについて各メンバーと共通認識をもつ 鷲崎ら『QA to AQ：アジャイル品質パターンによる、伝統的な品質保証からア ジャイル品質への変革』、翔泳社、https://amzn.asia/d/9yvEdHy コールドスタートにおける技術不確実性の解消段階では 「定量評価」以上に「障壁の解体」にこだわる
23. 23 「定量評価」はあと回しでいい。技術不確実性の解消のあと。 定量評価はめっちゃ大事だけど、データ収集コストが高く、評価設計も難しい。 コンセプトが定まらない初期段階では手戻りのリスクを最小限に抑えたい。
24. 出力の再現性を担保する なにが難しいか
25. 作業間のプロトコルに従う（業務を動かす）ことができる どのユーザーにも同一の挙動が期待（展開）できる 高品質で安定した出力が担保できると...
26. 1. 詳細に書く 2. テストしやすいように書く 簡単。 高品質で安定した出力を担保するためのプロンプト書き方
27. 26 LLM の性能が高くなっても、回答品質のコンテキスト依存は変わらない 複数の正解候補から回答するのは難しい トンネルを抜けると AI 海 が広がっていた 雪国 であった 不思議 の町でした 意向を汲んでくれるわけではない = コンテキストの曖昧性 = モデルの不確実性 出力の再現性が低いのは ①コンテキストの曖昧性 ②モデルの不確実性 による
28. 27 テクニックは気にせず、まずは具体的で伝わりやすい表現で書く モデルの言語運用能力に責任転嫁 トンネルを抜けると AI 海 が広がっていた 雪国 であった 不思議 の町でした コンテキストの曖昧性を解消することで 川端康成コンテキスト 千と千尋コンテキスト 「再現性の高いプロンプト」とは、言語モデルの機能的能力に依存しないということ 追従性の高いAIであれば同じ出力が期待されるような詳細な指示文を記述するとよい
29. 28 なぜその出力になったかの説明責任を果たす *たとえば人間に対して不合格という判断が下された場合、システム提供者はその理由を説明できないといけない コンテキストの曖昧性が解消され、モデルの不確実性が定量化されはじめると、 「なぜその出力になったか*」の根拠として詳細な指示文が説明責任を持つようになる
30. 1. 詳細に書く 2. テストしやすいように書く 簡単。 高品質で安定した出力を担保するためのプロンプト書き方
31. 29 評価観点、正常・異常ケースは切り離し、定量評価や回帰テストに紐付けておく あなたは優れたアシスタント ... 略）
 ## タスク規約 ### 回答と推論過程の評価観点 ### 異常入力の出力例 ### 出力制約 ### 出力形式 次の観点から公平に評価され、その結果に応じて報酬値が変動します
 metric metrics ユーザー入力に異常を検知した場合は、システムエラーの文言を提示すること err error_messages cn constraints {% %} {% %} {% %} {% %} {% %} {% %} for in endfor for in endfor for in endfor - {{ metric.title }}: {{ metric.description }} - {{ err.title }}: {{ err.content }} - {{ cn.title }}: {{ cn.content }} {{ output_format }} → これらをテスト項目に紐付けておく
32. 複雑なタスクに対応する なにが難しいか
33. 一回のLLM呼び出しで どこまで機能を持たせるか 複合的につくってもいいが 複雑で保守できない AIプロダクト開発でよくある問題 v.s.
34. 34 エラーは伝搬するもの。まずは小さく丁寧に作るところから。 モデルに依存した指示・ループ構造を伴う ReAct 型エージェントはエラー伝搬が起きやすい まずは既存の業務フローを明確にしてワークフローを構築することから始める ワークフロー エージェント Anthropic - Building effective agents (2024) 宮田氏 - LLMを今すぐビジネスに活かすなら「エージェント」の前に「ワークフロー」〜MLラボのチャレンジから見えてきた知見〜 (2025) エラー伝搬による暴走 挙動が読みづらく改善策も立てづらい 定義された手順に沿って動くため正常・異常ケースも定義しやすい
35. 35 類似する機能でまとめる 複数機能を持たせる場合は類似機能でまとめる（サブタスク/タスク単位で共通） Cognition - Don’t Build Multi-Agents (2025) Taslim - Best Practices for Building Agentic AI Systems: What Actually Works in Production (2025)
36. 35 エージェントシステムはシンプルに設計しよう シンプルに設計する、階層構造は２層で十分 ツール名にはサービス・リソース別に名前空間を付与して機能別に役割を区別する
 e.g. projects_search、 users_search
 サブエージェントはステートレスに純粋な関数として実装する サブエージェントには応答責任をなるべく持たせない
 e.g. google-adk の場合、Sub-agent より Agent-as-a-Tool を採用する asana_ asana_ ※ この辺りのベストプラクティスは確立されていないのでぜひ一緒にやりましょう！ Anthropic - Writing effective tools for agents — with agents (2025) Taslim - Best Practices for Building Agentic AI Systems: What Actually Works in Production (2025)
37. 高い不確実性を解消する高い再現性 障壁の解体を優先する。定量評価はあと回し。 詳細に書く。テストしやすいように書く。 まずは業務フローを明確にする。関心の分離。