なぜ、あなたのエージェントは言うことを聞かないのか

2026年7月24日に開催された「AI Dev Day 2026」（https://aidevday.com/ ）でお話した際の資料です。

Transcript

1. AI Dev Day 2026 なぜ、あなたのエージェントは 言うことを聞かないのか − 研修現場で見えた、経験者ほど気づけない 10の盲点 − 2026/07/24 株式会社ジェネラティブエージェンツ 江頭貴史 ▲ Speaker Deck
2. 自己紹介 江頭貴史（えがしらたかし） 株式会社ジェネラティブエージェンツ AI Agent Training Specialist ▲ SNSアカウント一覧 全文検索エンジンの開発、文書管理パッケージのPdM、AIチャットボットやRAGサービスのCSを経て 現在は、AIエージェントに関する教育研修事業の責任者を担当しています Software Design 2025年9月号 特集「MCPでどう変わる？ LLMアプリ開発」第1章 ［入門］LLMアプリ開発 ——基本・LLMのしくみ・MCP・AIセキュリティ 共著
3. はじめに みなさん、実はAIエージェントの仕組みをよく分からずに使ったり作ったりしていませんか？ 研修の現場では仕組みを知らずにつまずいてしまう受講者の方が大勢いらっしゃるので、 今日はよくあるつまずきポイントを10個ピックアップして、3章に分けてお話します 第1章 エージェントの仕組みを知ろう エージェントが言うことを聞かない原因を把握しよう 第2章 SNSに流れるウワサを正しく理解しよう MCPはオワコン？ベクトル検索じゃなくファイル探索？etc. 第3章 エージェントに任せられるようになろう 大切なのは任せられるエージェントに育てあげることです ▲ Speaker Deck 今日は時間がないのでどんどんいきます 資料はSpeaker Deckで公開していますので、気になる部分は後ほどご確認ください
4. 第1章 エージェントの仕組みを知ろう エージェントが言うことを聞かない原因を把握しよう
5. 1. システムプロンプト エージェントが指示を無視してしまう場合は、指示をする場所を意識しましょう LLMは、指示を出す場所が 「システムプロンプト」と 「ユーザープロンプト」に 分かれています システムプロンプトは会話 を始める前に与えられる基 本方針で、以降の応答全体 に影響します 弊社「AIコーディング実践講座・アドバンス」研修資料より
6. 1. システムプロンプト - Claude Codeの場合 エージェントは、強く効かせたい共通の基本的な指示をシステムプロンプトで与えています 右図はClaude Codeのシステ ムプロンプトの構成です 共通の基本的な指示は CLAUDE.md / AGENTS.md で与えるのが定石ですが、 Claude Codeの場合はこれら の情報をシステムプロンプ トではなくユーザープロン プトで与えています 強く効かせたい共通指示は システムプロンプトに入れ ることも検討しましょう 弊社「AIコーディング実践講座・アドバンス」研修資料より
7. 1. システムプロンプト - 参考情報 CLAUDE.mdはシステムプロンプトではなくユーザープロンプトに入ります Claude isn’t following my CLAUDE.md - How Claude remembers your project - Claude Code Docs https://code.claude.com/docs/en/memory#claude-isn’t-following-my-claude-md Claude Codeの場合、システムプロンプトをカスタマイズする機能がいくつか用意されています Output styles - Claude Code Docs https://code.claude.com/docs/en/output-styles#change-your-output-style System prompt flags - CLI reference - Claude Code Docs https://code.claude.com/docs/en/cli-reference#system-prompt-flags Claude Codeの場合、サブジェージェントはmdファイルの内容がシステムプロンプトに入ります Write subagent files - Create custom subagents - Claude Code Docs https://code.claude.com/docs/en/sub-agents#write-subagent-files
8. 2. コンテキストウィンドウ 処理を続けることで精度が下がってしまう場合は、コンテキストウィンドウを意識しましょう LLMはステートレスで、 一問一答しかできません 前回の会話の内容やツール の実行結果などはまったく 覚えていないのです これでは不便なので、エー ジェントが会話やツールの 実行履歴を毎回LLMに入力 しなおしています 会話やツール実行が増える とLLMに入力する履歴情報 がどんどん大きくなります 1会話目でLLMと交わされる内容 2会話目でLLMと交わされる内容 ▷ レポート.pdfを要約して ▷ レポート.pdfを要約して ◀ ツールを使ってレポート.pdfを読んで ◀ ツールを使ってレポート.pdfを読んで ▷ {読み込んだレポート.pdfの内容} ▷ {読み込んだレポート.pdfの内容} ◀ {レポート.pdfの要約文} ◀ {レポート.pdfの要約文} ▷ LLMへの入力 ◀ LLMからの出力 ▷ 関連する資料を探してまとめて ※図はかなり簡略化しています 実際にはシステムプロンプトやツール定義な どもLLMへ入力されます また、ツール実行でもLLMとの往復が発生し て情報の再入力が行われるため、実際にはこ の図よりも多くのトークンを消費します ◀ ツールを使ってWeb検索して ▷ {Web検索した結果の内容} 1会話目の 履歴を 再入力 2会話目に 消費する トークン ◀ {検索結果の内容のまとめ} エージェントとLLM間で交わされる会話・ツール実行の履歴のイメージ
9. 2. コンテキストウィンドウ - コンテキストロットや圧縮による精度低下 LLMによって処理できる情 報量の上限が決まります これが「コンテキストウィ ンドウ」です 上限まで履歴情報を詰め込 むことができますが、詰め 込みすぎるとコンテキスト ロットという事象により精 度低下を招きます（右図） また、コンテキストウィン ドウの限界に近づくとエー ジェントは履歴情報を要約 弊社「AIエージェント導入リーダー養成講座」研修資料より することなどで圧縮します この圧縮機能は便利なのですが、精度低下の要因になることがあります
10. 2. コンテキストウィンドウ - 使用状況の確認と対処 Claude Codeの場合、/context でコンテキストウィンドウの使用状況が確認できます コンテキストウィンドウを 意識して、キリの良いとこ ろで作業状況や必要情報を ファイルに書き出させ、 /clearでコンテキストウィン ドウをクリアしてから再開 するのがお勧めです また、サブエージェントを 利用すると独立したコンテ キストウィンドウを使うこ とができます 弊社「AIエージェント導入リーダー養成講座」研修資料より
11. 2. コンテキストウィンドウ - 参考情報 コンテキストロットのレポートです Context Rot: How Increasing Input Tokens Impacts LLM Performance | Chroma https://www.trychroma.com/research/context-rot コンテキストウィンドウについてのより詳しい解説です Effective context engineering for AI agents \ Anthropic https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
12. 第1章 エージェントの仕組みを知ろう - まとめ エージェントが言うことを聞かない原因を知るために、システムプロンプトとコンテキストウィンド ウについて解説しました 1. システムプロンプト エージェントが指示を無視してしまう場合は、指示をする場所を意識しましょう システムプロンプトでの指定が有効な場合があります 2. コンテキストウィンドウ 処理を続けることで精度が下がってしまう場合は、コンテキストウィンドウを意識しましょう LLMはステートレスのため、コンテキストウィンドウの使い方が重要です 適宜クリアしたり、サブエージェントを活用したりすることがポイントです 次の章では、研修でよく質問される「SNSで◯◯って言ってたけど本当？」系をまとめます
13. （休憩）株式会社ジェネラティブエージェンツ - 会社概要 AIエージェントが「ハブ」となり 人間とAIエージェントの協働が 当たり前になる世界を実現する 会社名 所在地 AIエージェントインテグレーションサービスの提供 AIエージェントを実業務で本当に活用するためには、AIエージェントの技 （英文：Generative Agents, Inc.） 〒160-0002 東京都新宿区四谷坂町10-10 NOW/HERE新宿四谷 CEO 西見 公宏 術特性と問題解決領域の両面から検討を進める必要があります。当社は 「LangChain」の公式エキスパートとして、AIエージェントを開発するため 株式会社ジェネラティブエージェンツ 役員構成 の確かな技術力を活かし、生成AIアプリケーション開発支援からコンサル COO 吉田 真吾 CTO 大嶋 勇樹 ティング、教育・研修サービスまでのあらゆる方面において、AIエージェ ントを活用した問題解決サービスを提供します。 設立年月 インテグレーションを支えるサービス群の提供 • AIエージェント技術を軸とした AIエージェントを効果的に運用するためには、AIエージェントを動かすた めのインフラが必要です。当社はマルチエージェントのオーケストレー ション基盤である「tasq0 - タスクゼロ（※開発中）」をはじめ、AIエー ジェントのためのツール群「middleman.ai」の提供を通して、AIエージェ ント活用のための基盤構築をサポートします。 2024年3月14日 事業内容 生成AIアプリケーション開発支援 • コンサルティング • 教育・研修サービスの提供
14. （休憩）弊社のボードメンバー 代表取締役CEO / Founder 取締役COO / Co-founder 取締役CTO / Co-founder 西見 公宏 Masahiro Nishimi 吉田 真吾 Shingo Yoshida 大嶋 勇樹 Yuki Oshima ChatGPTの利活用を中心に大規模言語モデルを活用したアプリケーショ ノーコードAIプラットフォームを用いた業務改善、ワークショップを用 大規模言語モデルを組み込んだアプリケーション（LLMアプリケーショ ン開発ならびにアドバイザリーを提供する中で、吉田、大嶋と出会い、 いた生成AI活用支援といったコンサルティング事業を管掌。 ン）やAIエージェント開発の技術統括。LLMアプリケーション開発者養 株式会社ジェネラティブエージェンツを共同創業。AIエージェントを経 Serverless Community(JP)、LangChain Community(JP)、ChatGPT 成講座などの教育事業を管掌。 営に導入することにより、あらゆる業種業態の生産性を高めるための活 Community(JP)などを主宰。 AWS Serverless Heroというクラウドコン 個人ではエンジニア向けの勉強会開催や教材作成など。オンラインコー 動に尽力している。 ピューティングのスペシャリストに認定され、日本におけるサーバーレ スUdemyではベストセラー講座多数。勉強会コミュニティStudyCo運 Software Design「実践LLMアプリケーション開発」（技術評論社）連 ステクノロジーの普及やをAIエージェント開発を促進。 営。 載。 主な著書 主な著書 主な著書 『その仕事、AIエージェントがやっておきまし 『ChatGPT/LangChainによるチャットシステム構築［実践］入門』 『ChatGPT/LangChainによるチャットシステム構築［実 た』（単著）、『LangChainとLangGraphによ （共著）、『Azure OpenAI ServiceではじめるChatGPT/LLMシステム 践］入門』（共著）、『LangChainとLangGraphによる るRAG・AIエージェント［実践］入門』（共 構築入門 エンジニア選書』（共著）、『LangChainとLangGraphによ RAG・AIエージェント［実践］入門』（共著） 著）、『現場で活用するためのAIエージェント るRAG・AIエージェント［実践］入門』（共著）、『AWS生成AIアプ 実践入門』（共著） リ構築実践ガイド』（共著）
15. 第2章 SNSに流れるウワサを正しく理解しよう MCPはオワコン？ベクトル検索じゃなくファイル探索？本当にそう？
16. 3. 精度が低い時は上位のモデルにすればよい？ モデルを選択する時はいたずらに高度なものを選ばす、思考量の調整もセットで考えましょう 複雑なタスクは上位のモデル、シンプルなタスクは安価で高速なモデルを選ぶのが定石ですが、最近 ではここに「思考量」の軸が加わっています たとえば、Claudeのモデルは思考量をeffort levelで指定できますが、本来やれることなのに途中で諦め てしまう場合は、高度なモデルには上げずにeffort levelを上げることで解決できる可能性があります 思考量の指定はベンダーやモデルごとに異なり、たとえばOpenAIの指定可能なモデルはreasoning effortで、Googleではthinking levelで調整できます 余談ですが、最近は「トークンマキシング」という言葉も話題になっています トークン消費量をAI活用度のKPIにする動きが出てきたのですが、成果さておきでKPI（＝消費量）を稼 ぐためにわざとトークンを使う行動を産みかねないのでは？という指摘です そうならないためにも、用途に合わせてモデルと思考量を正しく選ぶことが大切です
17. 3. 精度が低い時は上位のモデルにすればよい？ - 参考情報 Claude Codeにおけるモデルとeffort levelの選択基準が解説されています Choosing a Claude model and effort level in Claude Code | Claude by Anthropic https://claude.com/blog/claude-model-and-effort-level-in-claude-code OpenAIのGPT 5.6についてモデルとreasoning effortの選択基準が解説されています Update API and model parameters - Model guidance | OpenAI API https://developers.openai.com/api/docs/guides/latest-model#update-api-and-model-parameters Geminiのthinking levelについて選択基準が解説されています Gemini の思考 - Interactions API | Google AI for Developers https://ai.google.dev/gemini-api/docs/thinking?hl=ja
18. 4. RAGといえばベクトル検索でしょ？ RAGの検索手法は、検索対象のデータや検索の要件に応じて選択しましょう たとえばシンプルなRAG の実装で「OWASP Top 10 for LLM Applications 2025」のPDFを「Tell me about LLM08:2025」とい う条件でベクトル検索し た場合、該当ページがう まくヒットせず回答でき ないことがあります（右 図①） BM25と組み合わせたハ イブリッド検索ではヒッ トし、正しく回答できま す（右図②） ① ② ベクトル検索ではヒットせず回答できない ハイブリッド検索ではヒットして回答できる 弊社「AIエージェント開発者養成講座」のサンプルプログラムの実行結果より
19. 4. RAGといえばベクトル検索でしょ？ - 検索手法の選択が必要 検索手法に万能なものはな いため、対象のデータや検 索の要件に応じた選択が必 要です 特に固有名詞、商品コー ド、型番などはベクトル検 索でうまく探せないことが あり、全文検索の方が向い ています（右図） 両者を組み合わせたハイブ リッド検索もよく使われま す 弊社「AI入門」研修資料より
20. 4. RAGといえばベクトル検索でしょ？ - 参考情報 ベクトル検索で取りこぼしてしまうものがBM25で探せる仕組みについて解説されています Contextual Retrieval in AI Systems \ Anthropic https://www.anthropic.com/engineering/contextual-retrieval LangChainがQ&Aチャットボットの改善に取り組んだ際に、検索の仕組みも切り替えた事例です Why We Rebuilt LangChain’s Chatbot and What We Learned https://www.langchain.com/blog/rebuilding-chat-langchain ベクトル検索と全文検索の仕組みについて、LangChain Meetup Tokyo #7でお話した際の資料です 文章を検索する仕組み https://speakerdeck.com/segavvy/wen-zhang-wojian-suo-surushi-zu-mi
21. 5. ベクトル検索よりもファイル探索がいい？ エージェントの検索手法は、観点を整理して選択しましょう たとえば、Claude Codeはソースコードの探索にベクトル検索ではなくgrep系のファイル検索ツールを 使っていますが、ここにはいろいろな観点の話が混ざるので整理して見極める必要があります ①検索手段 • ソースコードの検索は、一見ベクトル検索には不向きなタスクに見えますが、埋め込みモデルの チューニングによりソースコードの検索にも使われるようになってきています ②検索インデックスの有無 • ベクトル検索は埋め込みコストの関係で事前のインデックス作成が必要であり、そのセキュアな 置き場の確保やリアルタイム性がネックになる反面、検索は高速です • grep系はインデックス不要ですが、規模によっては高速化のためにインデックスが必要です ③1回で検索するのか多段で組み合わせるのか • エージェントが検索ツールを使って多段階で情報検索するagentic searchの場合、検索手段を一 つに絞る必要がなくなります
22. 5. ベクトル検索よりもファイル探索がいい？ - 参考情報 Claude Code作者のBoris Cherny氏とPMのCat Wu氏がソースコード検索の仕組みについて語っています Claude Code: Anthropic's Agent in Your Terminal / Latent Space https://www.latent.space/p/claude-code Cursorによる、ソースコード専用埋め込みモデルによるベクトル検索とgrep系を併用した事例です セマンティック検索によるエージェントの改善 · Cursor https://cursor.com/ja/blog/semsearch NVIDIAの埋め込みモデルNemotron 3 Embedは、コード検索の精度向上も目的に開発されています NVIDIA Nemotron 3 Embed Ranks #1 Overall on RTEB, Advancing Agentic Retrieval https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb
23. 6. MCPはコンテキストを食い過ぎるから使わない方がいい？ MCPのツール定義は、主要なエージェントでは遅延ロードになっているので気にしないで大丈夫です 1年ほど前に「MCPはツール 定義がコンテキストを浪費 するのでよくない、たとえ ば、GitHubの操作はghコマ ンドを叩かせた方がうまく いく」と話題になりました LLMはツールを直接実行で きないのでLLMへの入力で ツールの仕様を伝える必要 があるのですが（右図）、 ツールが多いとこの部分が 大きくなってしまうのです 弊社「AI入門」研修資料より
24. 6. MCPはコンテキストを食い過ぎるから使わない方がいい？ - 段階的な情報開示 主要なエージェントでは、MCPのツール定義を必要になるまで伝えない段階的情報開示の仕組みが実装 されているので、いたずらにMCPを避ける必要はありません GitHub Copilotは2025年7月にVirtual Toolsとしてツールの自動グループ化方式を試験導入しています July 2025 (version 1.103) - Visual Studio Code https://code.visualstudio.com/updates/v1_103 Claude Codeは2026年1月に「ツール検索のためのツール」を使う形で実装されています Code execution with MCP: building more efficient AI agents \ Anthropic https://www.anthropic.com/engineering/code-execution-with-mcp Cursorは2026年1月にツール定義をフォルダ下にマッピングしたファイル探索方式で実装されています 動的コンテキスト検出 · Cursor 段階的な情報開示の https://cursor.com/ja/blog/dynamic-context-discovery 実装方法は Codexは2026年6月に「ツール検索のためのツール」を使う形で実装されています 各ベンダーで Release 0.142.2 · openai/codex 違っていて https://github.com/openai/codex/releases/tag/rust-v0.142.2 おもしろいですね
25. 7. MCPよりもコマンドやスクリプトで連携すべき？ どちらも使える場合は、用途で使い分けましょう MCPの連携 • • • 簡単に連携の設定ができる 途中の処理結果もコンテキスト に載る（右上図） エージェントが外部と状況に応 じて連携する用途に向いている コマンドやスクリプトの連携 • • サービス間で情報連携した時のコンテキストウィンドウのイメージ MCPの場合 ▷ 顧客情報をサービスAからBに移行して ◀ サービスAのMCPツールで顧客情報を全件読み込んで ▷ LLMへの入力 ◀ LLMからの出力 ▷ {読み込んだ顧客情報} ◀ サービスBのMCPツールでこの{読み込んだ顧客情報}を書き込んで スクリプト場合 情報をコンテキストに載せないのでこちらの方が適している ▷ 顧客情報をサービスAからBに移行して 複数の処理が続く場合に、スク ◀ 次のスクリプトを実行して リプトで書けばLLMが間に介在 しないので、途中のデータをコ import requests customers = requests.get("https://api.a.example/customers").json() ンテキストに載せずに処理でき requests.post("https://api.b.example/customers/bulk", json=customers) る（右下図） 連携手順が事前に決まる用途の場合は、スクリプトの方がLLMの判断が不要になり安定する
26. （脱線）LLMの判断が不要な処理はスクリプトで制御 外部連携に限らず、内容が決まっている処理はLLMに逐次実行させずスクリプトを書いて実行する方 が安定するため、ツールの実行部分にProgrammatic Tool Calling（PTC）として取り入れられています Anthropicは2025年11月にClaude APIへ、Pythonスクリプトでツールを使うPTCを搭載しています Introducing advanced tool use on the Claude Developer Platform \ Anthropic https://www.anthropic.com/engineering/advanced-tool-use LangChainは2026年5月にDeep Agentsへ、Interpreters機能の一部としてPTCを搭載しています Interpreters in Deep Agents: Code Between Tool Calls and Sandboxes - LangChain https://www.langchain.com/blog/give-your-agents-an-interpreter OpenAIは2026年7月にResponses APIへ、PTCを搭載しています Programmatic Tool Calling | OpenAI API https://developers.openai.com/api/docs/guides/tools-programmatic-tool-calling
27. （脱線）LLMの判断が不要な処理はスクリプトで制御（つづき） サブエージェントの実行制御部分でも、LLMに逐次で実行させるのではなく、スクリプトを書いて実 行させる方式が取り入れられています Anthropicは2026年5月にClaude Codeへ、JSでサブエージェントを実行制御するDynamic Workflowsを搭 載しています Introducing dynamic workflows | Claude by Anthropic https://claude.com/blog/introducing-dynamic-workflows-in-claude-code LangChainは2026年6月にDeep Agentsへ、QuickJSでサブエージェントを制御するDynamic Subagents を搭載しています Introducing Dynamic Subagents in Deep Agents - LangChain https://www.langchain.com/blog/introducing-dynamic-subagents-in-deep-agents
28. 第2章 SNSに流れるウワサを正しく理解しよう - まとめ この章では、SNSに流れるウワサについてお話しました 3. 精度が低い時は上位のモデルにすればよい？ 思考量（effort level、reasoning effort、thinking level）の調整もセットで考えましょう 4. RAGといえばベクトル検索でしょ？ 対象のデータや検索の要件に応じた選択が必要です 5. ベクトル検索よりもファイル探索がいい？ 観点（検索手段、インデックスの有無、1回の検索？多段のagentic search？）を整理しましょう 6. MCPはコンテキストを食い過ぎるから使わない方がいい？ 最近は段階的な情報開示が一般的になっています 7. MCPよりもコマンドやスクリプトで連携すべき？ どちらも使える場合は用途で使い分けましょう SNSのウワサをそのまま信じるのではなく、その背景を知ることが大切です 最後の章では、任せられるエージェントの育て方についてお話します
29. （休憩）研修プログラムのご紹介 弊社ではAIエージェントの導入に関する各種研修プログラムをご提供しています 全職種 ソフトウェア開発 全職種 AI入門講座 AIエージェント 導入リーダー 養成講座 AIコーディング 実践講座 AIコーディング 実践講座アドバンス AIで正しく開発する 技術を学ぶ ハーネス エンジニアリングを学ぶ 対象者 AIを利用する上で 土台となる知識を学ぶ AIエージェントの 導入に必要なことを学ぶ 対象者 対象者 経営層 推進担当 マネジメント層 開発者 経営層 推進担当 マネジメント層 開発者 ソフトウェア開発 開発者 AIエージェント開発 対象者 開発マネージャー ・開発リーダー ソフトウェア開発 AIエージェント 開発者養成講座 AIエンジニアリング マスター研修 AIエージェントを 開発する技術を学ぶ AIでの開発を 実プロジェクトに導入 対象者 開発者 対象者 開発者
30. （休憩）研修の受講者に無償で配布しています！ 『実践Claude Code入門』―現場で活用するためのAIコーディングの思考法 株式会社ジェネラティブエージェンツ Amazonベストセラー1位 技術評論社各種ランキング1位 ほか実績多数 西見公宏、吉田真吾、大嶋勇樹 [著] 第1部 手を動かして学ぶClaude Codeの基本 第1章 Claude Codeを ソフトウェアエンジニアリングと統合する 第2章 Claude Codeの基礎 第3章 MCPを使いこなせ！ 第4章 達人に学ぶスペック駆動開発 第5章 Claude Code Actionの活用 第2部 動作原理を理解して開発フローをしくみ化する 第6章 Claude Codeの動作原理を理解する 第7章 Claude Codeを意図通りに動かす 第8章 スペック駆動開発のフローをしくみ化する【設計編】 第9章 スペック駆動開発のフローをしくみ化する【実践編】 AIコーディング実践講座 ご紹介 付録 各種サービスの設定手順 Anthropic社の概要・コンプライアンス・法的な規約
31. 第3章 エージェントに任せられるようになろう 大切なのは任せられるエージェントに育てあげることです
32. 8. サンドボックス化 エージェントに権限を渡せるようにする仕組みがサンドボックス化です エージェントは間違えるので、危険な操作の権限は渡さず、人間が実行前に承認する必要があります でも、いちいち確認するのは大変で、ろくに読まずに許可してしまっている方もいるでしょう これを解決するのが、以下のような隔離環境内でエージェントを動かす「サンドボックス化」です • ファイルシステム分離 ー 決められたディレクトリのみファイルアクセス可能 • ネットワーク分離 ー 決められたドメインのみネットワークアクセス可能 サンドボックス化は会社における社用PCのようなものです • アプリは勝手には入れられず、怪しい添付ファイルは開けません • 許可されていないサイトはプロキシで遮断されてアクセスできません このおかげで、間違えることがある人間でもPCを使って安全に業務ができます ただしリスクをゼロにできる仕組みではないので、承認×サンドボックスなど多層防御は必要です
33. 8. サンドボックス化 - 参考情報 Claude Codeにおけるサンドボックス化の設計思想の紹介です Making Claude Code more secure and autonomous with sandboxing \ Anthropic https://www.anthropic.com/engineering/claude-code-sandboxing Claude Codeにおけるサンドボックス化の手段 の選び方が解説されています（右図） Choose a sandbox environment - Claude Code Docs https://code.claude.com/docs/en/sandb ox-environments 先ほど脱線してお話したProgrammatic Tool Calling（PTC、LLMが書いたコードでツール実 行する機能）も、サンドボックス化でリスクを 下げています
34. 9. AIに書かせたコードのレビュー AIに書かせたコードのレビューの深さは、仕組みや信頼の積み上げが大きく影響します レビューが大変！という方は多いかと思いますが、実はAIに限らないお話です たとえば、初取引の会社へコーディングを委託した場合、最初は納品されたコードをしっかりレ ビューするかと思います でも、テスト仕様やその結果もきちんと納品してもらえば、レビューを減らせるかもしれません その会社への委託実績が積み上がっていくことでも、レビューの量を減らしていけるでしょう AIに書かせたコードのレビューの必要性や深さの判断は、一律でするものではありません 人間のレビューをボトルネックにしないためには、エージェントが信頼できる状態になるように仕組 みや実績を積み上げることが大切です 最近話題のハーネスエンジニアリングも、エージェントを信頼できる状態にするための仕組み作りと 言えます
35. 9. AIに書かせたコードのレビュー - 参考情報 OpenAIがCodexで社内向け製品を、手書き0行、5ヶ月で約100万行、PR約1,500件まで育てた事例です 人間によるPRのレビューを必須にはせず、相当する検証作業を仕組みとして作り込んだのが特徴です 具体的には、レビュー自体のエージェント 化、カスタムリンターでアーキテクチャの機 械的な強制、エージェント自身が動作確認で きる環境の整備、品質の逸脱を検知してリ ファクタリングのPRを自動で作るなどの作り 込みをしています ハーネスエンジニアリング：エージェン トファーストの世界における Codex の 活用 | OpenAI https://openai.com/ja-JP/index/harnes s-engineering/
36. 10. 評価と自動改善ループ エージェントの評価はテストを通ればOKとはならず、評価と改善の繰り返しが基本になります 生成AIは出力が揺れるだけ でなく、自然言語により入 力まで揺れます 修正時もエンバグのような 事象（Aは良くなったけどB が悪くなった）が起きます 評価の基本は、機械学習の ようにテストケースを使っ た改善の繰り返しです 1. 2. 3. 評価を実行 その結果を分析 それに基づき改善 弊社「AIエージェント開発者養成講座」研修資料より
37. 10. 評価と自動改善ループ - エージェントによる自動改善 評価のループをエージェントに任せる動きも進んでいます たとえば、Weights & Biases のWeaveでは、エージェン トのトレーシングやテスト を実施でき、専用のskillsを 使うことでこれらの情報を 取り出せます そのため、評価・改善用の エージェントを用意すれ ば、評価、分析、改善のす べてを任せられます これにより、エージェント による、エージェントの自 動改善が実現できます 評価・改善エージェント 実行 対象エージェント 評価を実行 プロンプト などの改善 トレース 情報など Skillsで 取り出し 結果を分析 W&B Weave トレース・評価 結果などの蓄積 評価・改善エージェントが対象エージェントを自動改善するイメージ
38. 第3章 エージェントに任せられるようになろう - まとめ この章では、信頼し任せられるようなエージェントを育てる方法についてお話しました 8. サンドボックス化 隔離環境で動かすことによりエージェントに権限を渡せるようにします 9. AIに書かせたコードのレビュー レビューの必要性や深さは一律では決められず、エージェントを信頼できるかに依存します 信頼できるエージェントに育てていくことが大切です 10. 評価と自動改善ループ エージェントの評価は、評価と改善の繰り返しです 評価用のエージェントによる改善ループの自動化も進んでいます エージェントを信頼できるように作り込む作業がハーネスエンジニアリングと言えます 私は、これからのエンジニアの重要な仕事になっていくのではないかと思っています
39. （休憩）ちょうど、コーディングエージェントのハーネスを学べる無料イベントが！ 2026年7月28日（火）夜 東京の京橋＆Zoomの ハイブリッド開催です！ https://site.wandb.ai/resources/events/tokyo-meetup-28/
40. まとめ
41. まとめ 研修の現場で気づいた受講者の方のつまずきポイント10個を、3章に分けてお話しました 第1章 エージェントの仕組みを知ろう 1. システムプロンプト 2. コンテキストウィンドウ 第2章 SNSに流れるウワサを正しく理解しよう 3. 精度が低い時は上位のモデルにすればよい？ 4. RAGといえばベクトル検索でしょ？ 5. ベクトル検索よりもファイル探索がいい？ 6. MCPはコンテキストを食い過ぎるから使わない方がいい？ 7. MCPよりもコマンドやスクリプトで連携すべき？ 第3章 エージェントに任せられるようになろう 8. サンドボックス化 9. AIに書かせたコードのレビュー 10. 評価と自動改善ループ このお話が、みなさんの信頼できるエージェントを育てていくための参考になりましたら幸いです
42. お時間をいただきありがとうございました ぜひジェネラティブエージェンツのブースにもお立ち寄りください！