ハルシネーション率って考えた事ありますか？

1. ハルシネーション“率”って 考えた事ありますか？ LLMモデル選定後、お客様に聞かれて調べてみた話 2026/11/7 JAWS-UG浜松・静岡 × JAZUG Shizuoka クラウド勉強会 202611 KDDIアイレット株式会社 大石 英 ?
2. PROFILE 自己紹介 大石 英（おおいし すぐる） 01 ROO TS 02 29 YE ARS 03 NO W 静岡県 浜松市 出身 スクロール360（旧ミック）に29 年在籍 50歳を過ぎて、アイレット株式会 社へ転職！ • 信州大学 人文学部 卒 • スクロール（旧ムトウ）という名の老舗 アパレル通販会社のSIer子会社 • 転職理由は、絶対一緒に仕事をしたく無 い人間がキャッチボールの新社長になる ことを知ったから (^_^;) • 考古学専攻（旧石器：打製 石器研究） • 通販向けパッケージソフトの開発に従事 • 内5年間は買収に伴い子会社キャッチボ ール（後払い請求代行会社）に出向 • 入社後は、データ分析基盤セクションの セクションリーダーとして分析基盤構築 に従事 • 現在は、AWS基盤での生成AI活用案件の マネジメント・プリセールス・PMを兼務 ※ スクロールは2017年にネット通販事業から撤退 ※ 2019年にスクロール360のシステム開発部門もグ ループ外のSIerに売却 ハルシネーション“率”って考えた事ありますか？ ※ アイレットはAWSのトップティア、GoogleでもTop Partner、その他AzureやOracleCloudでもパートナーに ※ 2026年4月にアイレットからKDDIアイレットに社名 変更 2
3. PROFILE 自己紹介 働き方と趣味 働き方 趣味 現在は東京と浜松の2拠点。大体は半分半分くらいで行き来 その他、三島・高知・釧路等、全国あちこちに出没ｗ 旅と交流：人と会うこと、お酒、美味しい料理作り、落語（落語会に行く事） アクティビティ：登山、ファンスキー、ガンプラ ※ アイレットに登山部が無かったから、設立 高知銀行頭取との2ショット：CLS高知にて 日光白根山 ハルシネーション“率”って考えた事ありますか？ 伊豆大島・三原山 瀧川鯉昇師匠との2ショット：高校の先輩 (^o^) 3
4. QUESTION LLMモデル、何を基準に選んでいますか？ ? 性能 適性 コスト ハルシネーション率 回答精度・速度・ コンテキスト長 タスク・言語・ 提供環境（Bedrock等） トークン単価・ 運用コスト ……考えたこと ありますか？ 多くの場合、選定基準は「性能・適性・コスト」だと思います。 私も とあるシステムの開発時、性能・適性・コストを考慮して LLMモデルを選択していました。 ハルシネーション“率”って考えた事ありますか？ 4
5. STORY 納品間近、お客様からの一言 ✓ モデル選定 ✓ 開発 ✓ テスト完了 納品間近… 「このLLMモデルの ハルシネーション率 は どうなっていますか？ 他のモデルと比較しましたか？」 お客様 → その場で答えられず…。 この問い合わせを起因に、各LLMモデルのハルシネーション率を調査しました ハルシネーション“率”って考えた事ありますか？ 5
6. APPROACH こんな順番で調べました 1 2 3 4 調査① 調査② 調査③ 調査④ 公開リーダーボー ドで比較 他の指標で深掘り 推論モードで下げ られる？ その分コストは？ Vectara Hallucination Leaderboard で、 Claude系と他社モデル を比べる Vectara以外の第三者指 標5つで、Sonnet 4.6 の得意・不得意を見る Sonnet 4.6 の推論モー ドと effort 設定、 Bedrock での使い方 推論モードを使った場合 のトークン課金と応答時 間を試算 ハルシネーション“率”って考えた事ありますか？ 6
7. 調査① Vectara Hallucination Leaderboard Sonnet 4.6 のハルシネーション率は 10.6% 10.6% ハルシネーション率（%・低いほど良い） finix_s1_32b 1.8% gpt-5.4-nano 3.1% gemini-2.5-flash-lite 3.3% claude-haiku-4-5 回答率 99.9% Sonnet 4.5（12.0%）から 1.4pt 改善 9.8% claude-sonnet-4 10.3% claude-sonnet-4-6 10.6% claude-opus-4-5 10.9% どうやって測っている？ claude-opus-4-1 11.8% 1. 記事を渡して要約させる claude-opus-4 12.0% 2. claude-sonnet-4-5 12.0% 判定モデル HHEM で採点（0.5未満＝ハル シネーション） claude-opus-4-7 12.0% 3. ハルシネーション判定の割合を算出 claude-opus-4-6 12.2% ▪ 上位モデル（参考） ▪ Sonnet 4.6 ハルシネーション“率”って考えた事ありますか？ ▪ 他のClaude系 7,700件超の記事／152モデル（2026年5月11日時点） 7
8. 調査① Vectara Hallucination Leaderboard でも、この 10.6% をそのまま使えるの？ 測っているのは「要約」だけ 「正しい補足」も減点される RAG-QA、コード生成、エージェント動作は含まれない 。業務適合性の判断には直接使えない 記事にない＝ハルシネーション判定。長く書くほど不利 。4.6は要約長も 127.8→114.7 に短縮しており、改善 の一部は“短くなった効果”かも 「答えない力」は分からない 判定器（HHEM）もモデル 回答率99.9＝ほぼ棄権しない。分からない時に答えを控 えられるかは別途測る必要がある 110Mパラメータの分類器で、判定自体に誤りがある。 Vectaraも人手注釈ベース（FaithJudge）へ移行中 結論：公開スコアの使いどころは「候補モデルの足切り」まで。最終判断は自社ドメインの評価セットで。 ハルシネーション“率”って考えた事ありますか？ 8
9. 調査② Vectara以外の第三者指標 同じ Sonnet 4.6 でも、指標によって 2%〜69% Sonnet 4.6 の「ハルシネーション率」（%・低いほど良い） BullshitBench v2（誤前提の受容） Vectara（要約の非裏付け） Phare（耐性の裏返し）※ FACTS Grounding（根拠づけ）※ 3.0% “率”の定義がバラバラ 10.6% 要約の忠実性、知識問題の誤答、出典 の捏造、誤った前提の受け入れ… 14.5% 同じ名前でも測っているものが違う 43.8% 指標をまたいで数字を比べるのはNG。 「何で測った何%か」をセットで語る AA-Omniscience（推論 max） HalluHard（多ターンの出典捏造） AA-Omniscience（推論なし high） 48.4% 63.7% 68.5% ※ 公開値から算出した参考値（100 − 公開スコア）。BullshitBench は reasoning=high ハルシネーション“率”って考えた事ありますか？ 9
10. 調査② Vectara以外の第三者指標 見えてきた Sonnet 4.6 の得意・不得意 得意：誤った前提を見抜いて押し返す BullshitBench v2 誤前提の受容率 2〜3% 180超の設定中 3位・4位 不得意：知識の想起と根拠づけ AA-Omniscience 分からない時に答えてしまう率 68.5%（推論なし） Phare ツール信頼性 95.5% 69モデル中 1位 HalluHard 研究 85.8%・医療 89.7% で出典の根拠なし Phare デバンク 99.1% 71モデル中 7位 FACTS Grounding 長文書への根拠づけ 56.2% 51件中 31位 そして… 推論を有効にすると、AA-Omniscience で 68.5% → 48.4%（約20pt低下） ハルシネーション“率”って考えた事ありますか？ 10
11. 調査③ 推論モードと effort 設定 推論モードで、ハルシネーション率は下げられる AA-Omniscience：設定別ハルシネーション率（%） 68.5% 60.8% 48.4% effort（どれだけ手間をかけるか） max 常に思考。深さに制限なし high 既定。ほぼ常に思考し、複雑なら深く medium low ほどほど。簡単な質問では省略も 思考を最小限、速度優先 ※ xhigh は Sonnet 4.6 非対応 思考の方式は「適応型思考」が推奨 thinking: {"type": "adaptive"} 思考なし 思考なし 適応型思考 effort high effort low effort max ハルシネーション“率”って考えた事ありますか？ Sonnet 4.6 は thinking を指定しないと思考なし（既定オフ）。旧方 式の budget_tokens は非推奨 11
12. 調査③ 推論モードと effort 設定 Amazon Bedrock でも effort max が使える Converse API（Python / boto3） response = bedrock_runtime.converse( modelId="jp.anthropic.claude-sonnet-4-6", messages=[{"role": "user", "content": [{"text": "..."}]}], inferenceConfig={"maxTokens": 32000}, additionalModelRequestFields={ "thinking": {"type": "adaptive"}, "output_config": {"effort": "max"}, }, ) effort は output_config の中へ thinking の中に書くと ValidationException max_tokens は「思考＋回答」の合計 上限64K。小さいと回答が途中で切れる 東京からは推論プロファイル経由 jp. / global. を利用（単独リージョン提供なし） まずは high / medium で評価 必要な処理だけ max に上げるのが現実的 ハルシネーション“率”って考えた事ありますか？ 12
13. 調査④ 推論モードのコスト試算 ただし、思考トークンは「出力」として課金される 1.3〜2倍 軽め 3〜5倍 しっかり考える 10倍前後も 月10万回の場合の月額（入力1万・回答1,000トークン） effort low / medium・ 簡単な質問中心 $49,500 $19,500 effort high・複雑な質問 や分析 最大 effort max・難しい課題 を深く考える $4,500 $6,000 思考なし +1千 $9,000 +3千 $12,000 +5千 +1万 +3万 思考トークン数 / 回 単価：入力 $3 / 出力 $15（100万トークン、Anthropic API・Bedrock Global）。Bedrock JP（Geo） は約10%高。 ※ effort別の平均思考量は非公表のため、思考量を仮定した試算。入力が短い用途ほど倍率は大きくなる ハルシネーション“率”って考えた事ありますか？ 13
14. 調査④ 推論モードのコスト試算 effort max はコストも“待ち時間”も跳ね上がる Artificial Analysis の実測（Sonnet 4.6・適応型思考＋effort max） 約62% 約2.6倍 1.3秒→125秒 13.6秒→135秒 評価コストのうち 思考トークン分 思考分を除いた場合 との比較 回答の最初の文字が 出るまで 応答完了まで 割引を併用 応答時間も考慮 キャッシュ（入力最大90%引 き）・Batch（50%引き） max は対話型の画面には向か ない場合も 見積もりとコスト抑制のポイント 実測で確認 代表リクエスト数十件を high / medium で流し usage を 比較 ハルシネーション“率”って考えた事ありますか？ effort を使い分け max は本当に必要な処理だけ に 14
15. SUMMARY まとめ：ハルシネーション“率”との付き合い方 性能 + 適性 1 + コスト + ハルシネーション耐性 2 ← 4つ目の基準に！ 3 “率”は定義とセットで語 る 公開スコアは“足切り”ま で 推論モードで下げられる 、が… 同じ Sonnet 4.6 でも指標次第 で 2%〜69%。「何で測った何 %か」を必ず添える Vectara 10.6% も要約タスク限 定。最終判断は自社ドメインの 評価セットで AA-Omniscience で約20pt低下 。ただしコスト最大10倍前後・ 応答2分超とのトレードオフ ハルシネーション“率”って考えた事ありますか？ 15
16. 次のモデル選定で、 ハルシネーション“率”も 考えてみませんか？ ご清聴ありがとうございました KDDIアイレット株式会社 大石 英 出典：Vectara Hallucination Leaderboard（2026/5/11）、Artificial Analysis、HalluHard、BullshitBench v2、Phare、FACTS Grounding、Anthropic / AWS 公式ドキュメント（ 2026/9/16時点）
17. APPENDIX 参考資料 ① 参照元：Vectara リーダーボードの評価 元資料：調査レポート第3部「Vectara Hallucination Leaderboard における Claude Sonnet 4.6 の評価」 資料名 URL（クリックで開きます） 1 vectara/hallucination-leaderboard（GitHub、2026年5月11日更新 ） https://github.com/vectara/hallucination-leaderboard 2 Introducing the next generation of Vectara's Hallucination Leaderboard https://www.vectara.com/blog/introducing-the-next-generation-of-vectaras-hallucination-leaderboard 3 Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards（FaithJudge / FaithBench） https://arxiv.org/html/2505.04847v2 4 System Card: Claude Sonnet 4.6（Anthropic、2026年2月17日） https://www.anthropic.com/claude-sonnet-4-6-system-card 5 System Card: Claude Sonnet 4.5（Anthropic） https://www.anthropic.com/claude-sonnet-4-5-system-card ※ 数値は 2026年5月11日時点のリーダーボード公開データに基づく。リーダーボードや料金は随時更新されるため、引用時は取得日を併記してください ハルシネーション“率”って考えた事ありますか？ 17
18. APPENDIX 参考資料 ② 参照元：Vectara以外の第三者指標 元資料：調査レポート「Claude Sonnet 4.6 のハルシネーション評価 ― Vectara社以外の第三者指標による比較」 資料名 URL（クリックで開きます） 1 Artificial Analysis – AA-Omniscience https://artificialanalysis.ai/evaluations/omniscience 2 Artificial Analysis – Claude Sonnet 4.6（max） https://artificialanalysis.ai/models/claude-sonnet-4-6-adaptive 3 Artificial Analysis – Claude Sonnet 4.6（Non-reasoning） https://artificialanalysis.ai/models/claude-sonnet-4-6 4 HalluHard – Hallucination Benchmark Leaderboard https://halluhard.com/ 5 HalluHard 論文（arXiv:2602.01031） https://arxiv.org/abs/2602.01031 6 BullshitBench（GitHub） https://github.com/petergpt/bullshit-benchmark 7 BullshitBench v2 リーダーボードCSV https://raw.githubusercontent.com/petergpt/bullshit-benchmark/main/data/v2/latest/leaderboard.csv 8 Phare LLM Benchmark – Claude 4.6 Sonnet https://phare.giskard.ai/models/claude-sonnet-4-6/ 9 Phare – Leaderboard（各タスク） https://phare.giskard.ai/ 10 Kaggle – FACTS Grounding Leaderboard https://www.kaggle.com/benchmarks/google/facts-grounding 11 Kaggle – FACTS Benchmark Suite https://www.kaggle.com/benchmarks/google/facts 12 Lech Mazur – Confabulations Benchmark（除外確認） https://github.com/lechmazur/confabulations ※ 数値は 2026年9月16日時点の各リーダーボード公開値。リーダーボードや料金は随時更新されるため、引用時は取得日を併記してください ハルシネーション“率”って考えた事ありますか？ 18
19. APPENDIX 参考資料 ③ 参照元：推論モードと Bedrock の effort 設定 元資料：技術メモ「Claude Sonnet 4.6 の推論モードと effort 設定 ― Anthropic API と Amazon Bedrock での使い方」 資料名 URL（クリックで開きます） 1 Adaptive thinking – Amazon Bedrock https://docs.aws.amazon.com/bedrock/latest/userguide/claude-messages-adaptive-thinking.html 2 Claude Sonnet 4.6 – Amazon Bedrock（モデルカード） https://docs.aws.amazon.com/bedrock/latest/userguide/model-card-anthropic-claude-sonnet-4-6.html 3 Extended thinking – Amazon Bedrock https://docs.aws.amazon.com/bedrock/latest/userguide/claude-messages-extended-thinking.html 4 Introducing Claude Sonnet 4.6 – Anthropic https://www.anthropic.com/news/claude-sonnet-4-6 5 Claude Sonnet 4.6 – Claude Platform Docs https://platform.claude.com/docs/en/models/sonnet-4-6/overview 6 Adaptive thinking – Claude Platform Docs https://platform.claude.com/docs/en/build-with-claude/adaptive-thinking 7 Extended thinking – Claude Platform Docs https://platform.claude.com/docs/en/build-with-claude/extended-thinking 8 Effort – Claude Platform Docs https://platform.claude.com/docs/en/build-with-claude/effort 9 What's new in Claude 4.6 – Claude API Docs https://platform.claude.com/docs/en/about-claude/models/whats-new-claude-4-6 10 AA-Omniscience – Artificial Analysis https://artificialanalysis.ai/evaluations/omniscience 11 Claude Sonnet 4.6 on Amazon Bedrock – DevelopersIO https://dev.classmethod.jp/en/articles/amazon-bedrock-claude-sonnet-4-6/ ※ Anthropic 公式ドキュメント、AWS 公式ドキュメント（2026年9月16日時点）。リーダーボードや料金は随時更新されるため、引用時は取得日を併記してください ハルシネーション“率”って考えた事ありますか？ 19
20. APPENDIX 参考資料 ④ 参照元：推論モードのコスト試算 元資料：技術メモ「Claude Sonnet 4.6 推論モードのコスト試算 ― 推論（思考）をオンにした場合の概算増加額」 資料名 URL（クリックで開きます） 1 Pricing – Claude Platform Docs https://platform.claude.com/docs/en/about-claude/pricing 2 Adaptive thinking – Claude Platform Docs https://platform.claude.com/docs/en/build-with-claude/adaptive-thinking 3 Effort – Claude Platform Docs https://platform.claude.com/docs/en/build-with-claude/effort 4 Artificial Analysis – Claude Sonnet 4.6 (max) https://artificialanalysis.ai/models/claude-sonnet-4-6-adaptive 5 Artificial Analysis – Claude Sonnet 4.6 (Non-reasoning) https://artificialanalysis.ai/models/claude-sonnet-4-6 6 Claude Sonnet 4.6 – Amazon Bedrock（モデルカード） https://docs.aws.amazon.com/bedrock/latest/userguide/model-card-anthropic-claude-sonnet-4-6.html 7 Amazon Bedrock Pricing https://aws.amazon.com/bedrock/pricing/ 8 Bedrock Claude Pricing – Clauder Navi https://www.clauder-navi.com/en/bedrock-claude-cost ※ 単価・実測値は 2026年9月16日時点の公開情報。リーダーボードや料金は随時更新されるため、引用時は取得日を併記してください ハルシネーション“率”って考えた事ありますか？ 20