Upgrade to Pro — share decks privately, control downloads, hide ads and more …

コーディングエージェントのハーネスから見る、AIエージェントの現在

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
Avatar for os1ma os1ma
July 28, 2026
79

 コーディングエージェントのハーネスから見る、AIエージェントの現在

LLMベースのAIエージェントは、エージェントループの実装、MCPやスキルなどのツール拡張、コンテキストエンジニアリングなど、様々な観点で進化してきました。

現在では、コーディングエージェントがその代表格となり、モデルを取り囲む実装が「ハーネス」と呼ばれるようになっています。

本講演では、オープンソースのコーディングエージェント「OpenDev」の実装をとっかかりとして、コーディングエージェントのハーネスについて整理し、AIエージェントの現在について考えていきます。

イベントページ

https://wandb.connpass.com/event/398988/
https://wandb.ai/site/resources/events/tokyo-meetup-28/

Avatar for os1ma

os1ma

July 28, 2026

More Decks by os1ma

Transcript

  1. 株式会社ジェネラティブエージェンツ - 会社概要 AIエージェントが「ハブ」となり 人間とAIエージェントの協働が 当たり前になる世界を実現する 会社名 所在地 AIエージェントを実業務で本当に活用するためには、AIエージェントの技術特性 の公式エキスパートとして、AIエージェントを開発するための確かな技術力を活

    (英文:Generative Agents, Inc.) 東京都港区 ※ 全社員リモート勤務 AIエージェントインテグレーションサービスの提供 と問題解決領域の両面から検討を進める必要があります。当社は「LangChain」 株式会社ジェネラティブエージェンツ CEO 西見 公宏 役員構成 COO 吉田 真吾 CTO 大嶋 勇樹 かし、生成AIアプリケーション開発支援からコンサルティング、教育・研修サービ スまでのあらゆる方面において、AIエージェントを活用した問題解決サービスを 提供します。 設立年月 2024年3月14日 インテグレーションを支えるサービス群の提供 AIエージェントを効果的に運用するためには、AIエージェントを動かすためのイ ンフラが必要です。当社はマルチエージェントのオーケストレーション基盤である 「tasq0 - タスクゼロ(※開発中)」をはじめ、AIエージェントのためのツール群 「middleman.ai」の提供を通して、AIエージェント活用のための基盤構築をサ ポートします。 事業内容 AIエージェント技術を軸とした生成AIアプリケーション開発 支援、コンサルティング、教育・研修サービスの提供
  2. エージェントハーネス(Agent Harness)とは An agent harness (or scaffold) is the system

    that enables a model to act as an agent: it processes inputs, orchestrates tool calls, and returns results. When we evaluate “an agent,” we’re evaluating the harness and the model working together. エージェントハーネス(またはスキャフォールド)とは、モデルをエージェントとして機能させる ためのシステムです。入力を処理し、ツール呼び出しを調整し、結果を返します。「エージェン ト」を評価する際には、ハーネスとモデルが連携して動作する全体を評価することになります。 引用元:https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
  3. MCP(Model Context Protocol) AIエージェントにツールを追加する方法としてよく使われるのがMCPです ツール群 ファイル操作 タスク管理 Bash Edit Task

    SlashCommand MultiEdit TodoWrite 選択肢が増えた! コンテキスト Write Glob Jupyter操作 Grep NotebookRead Read NotebookEdit Web検索 WebFetch WebSearch MCP Context7 MCP Playwright MCP
  4. 従来のツール呼び出しの問題 従来のツール呼び出しには、2つの根本的な問題があるとされています • 中間結果によるコンテキスト汚染 • 推論オーバーヘッドと誤りの可能性 https://www.anthropic.com/engineering/advanced-tool-use 例:GitHubツールとJiraツールをエージェントに設定して、チケット管理を移行 GitHub Jira

    • GitHubから読み込んだ情報は本来コンテキストに 入れる必要がなく、不必要なコンテキスト汚染が発生 • AIの処理が間に入る必要性がまったくなく、 処理時間と料金が不必要に発生 AI • AIによる誤りが入る可能性 (「以下省略」「50件中10件で処理を停止」など)
  5. Programmatic Tool Calling(PTC) 前述した従来のツール呼び出しの問題を解決するため、 AnthropicやOpenAIのAPIに「Programmatic Tool Calling」という機能が追加されています https://www.anthropic.com/engineering/advanced-tool-use https://developers.openai.com/api/docs/guides/tools-programmatic-tool-calling const

    issues = await tools.list_github_issues({}); GitHubのチケットを すべてJiraに移行してください 利用可能なツール • list_github_issues • get_github_issue • create_jira_issue AI for (const item of issues) { const issue = await tools.get_github_issue({ number: item.number }); await tools.create_jira_issue({ issue }); } ツールで提供している関数が呼び出された個所では、 ツールの実装を呼び出す
  6. コンテキストエンジニアリングとは(1/3) “Prompt engineering” was coined as a term for the

    effort needing to write your task in the ideal format for a LLM chatbot. “Context engineering” is the next level of this. It is about doing this automatically in a dynamic system. It takes more nuance and is effectively the #1 job of engineers building AI agents. 「プロンプトエンジニアリング」という言葉は、LLMチャットボットにとって理想的な形式でタス クを記述するために必要な工夫を指す用語として生まれました。「コンテキストエンジニアリン グ」は、その次の段階にあたるものです。これを動的なシステムの中で自動的に行うことを意味し ます。より繊細なニュアンスを要するものであり、実質的にAIエージェントを構築するエンジニア にとって最重要の仕事と言えます。 引用元:https://cognition.ai/blog/dont-build-multi-agents
  7. コンテキストエンジニアリングとは(2/3) Context engineering is building dynamic systems to provide the

    right information and tools in the right format such that the LLM can plausibly accomplish the task. コンテキストエンジニアリングとは、LLMがタスクを十分に達成できるように、適切な情報とツー ルを適切な形式で提供する動的なシステムを構築することである。 引用元:https://www.langchain.com/blog/the-rise-of-context-engineering
  8. コンテキストエンジニアリングとは(3/3) Historically, in the paradigm of prompt engineering, the context

    C was treated as a monolithic, static string of text, i.e., C = prompt. This view is insufficient for modern systems. Context Engineering re-conceptualizes the context C as a dynamically structured set of informational components, c1, c2, . . . , cn. These components are sourced, filtered, and formatted by a set of functions, and finally orchestrated by a high-level assembly function, A: 歴史的に、プロンプトエンジニアリングのパラダイムにおいては、コンテキスト C は単一でモノ リシックな静的テキスト文字列、すなわち C = prompt として扱われてきた。この見方は現代的な システムにとっては不十分である。コンテキストエンジニアリングは、コンテキスト C を動的に 構造化された情報コンポーネントの集合 c₁, c₂, . . . , c_n として再概念化する。これらのコンポーネ ントは一連の関数によって取得・フィルタリング・整形され、最終的に高レベルの組み立て関数 A によってオーケストレーションされる 引用元:https://arxiv.org/abs/2507.13334
  9. 図解すると... コンテキストの部品 ユーザーのクエリ システム的な指示 ナレッジ コンテキスト 会話履歴 ツール 環境(世界) 記憶

    etc… 「コンテキストの部品を作る関数」や「コンテキストの部品を組み立てる関数」を 最適化するのがコンテキストエンジニアリング
  10. manabu-kunと働くイメージ 研修開催リスト Claudeの新機能「Claude Tag」に似ています 開催日 研修名 X月1日 A社◦◦講座 X月2日 B社◦◦講座

    X月3日 C社◦◦講座 X月9日 D社◦◦講座 https://www.anthropic.com/news/introducing-claude-tag https://claude.com/product/tag
  11. サンドボックスをツールとして利用(ハーネスとサンドボックスの分離) サーバー/コンテナ Webアプリ + エージェント (ハーネス) LLMのAPIキー サーバー/コンテナ (サンドボックス) エージェントがファイル操作・

    コード実装・コマンド実行の ツールを呼び出した際、 エージェントが動いている サーバー/コンテナ (サンドボックス) サーバー/コンテナの環境ではなく、 サンドボックスでファイル操作・ コード実装・コマンド実行を実行 メリット • モデルの推論開始時にサンドボックスの起動を待つ必要がないため応答が高速になる • サンドボックスの障害がモデルにとって単なるツール呼び出しの失敗になる • サンドボックスからLLMのAPIキーへのアクセスを防ぐことができる • モデルが複数のサンドボックスを扱うことが可能になる https://claude.com/blog/claude-managed-agents https://www.anthropic.com/engineering/managed-agents
  12. サンドボックスのセキュリティ 人間が使用するPCと同じように、改竄検知やプロキシを介した通信などの保護が検討されています https://www.langchain.com/blog/how-auth-proxy-secures-network-access-for-langsmith-agent-sandboxes https://docs.nvidia.com/openshell/latest/home 許可された サイトへの • ファイル操作 • コード実装

    • コマンド実行 サンドボックス プロキシ コマンド APIキー アクセスのみ 可能 ファイルの改竄検知により、 外部サービスのAPIキーをプロキシで .claude/settings.jsonのような HTTPリクエストヘッダーに入れることで、 許可リストに含まれるコマンドが LLMが外部サービスの 改竄されていないことを確認 APIキーを参照することを防ぐ
  13. いま広がりつつあるAIエージェントの構成例 ここまでの議論を整理すると、以下のような構成となります サーバー/コンテナ Webアプリ + エージェント (ハーネス) サンドボックス プロキシ APIキー

    LLMのAPIキー ファイル操作・コード実装・コマンド実行の モデル AGENTS.md スキル 能力を持つAIエージェントをサーバーで セッション 動かすための構成が整理されつつあります
  14. 研修プログラムのご紹介 AI入門講座 AIを利用する上で土台となる知識を学ぶ 対象:経営層、マネジメント層、推進担当、開発者 AIエージェント導入リーダー養成講座 AIエージェントの導入に必要なことを学ぶ 対象:経営層、マネジメント層、推進担当、開発者 AIコーディング実践講座 AIエージェント開発者養成講座 AIで正しく開発する技術を学ぶ

    対象:ソフトウェア開発者 AIエージェントを開発する技術を学ぶ 対象:AIエージェント開発者 AIコーディング実践講座アドバンス AIエンジニアリングマスター研修 ハーネスエンジニアリングを学ぶ 対象:開発マネージャー、リーダー AIでの開発を実プロジェクトに導入する 対象:開発チーム
  15. 【9/24発売予定】Amazonで予約受付開始! 『LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』(翔泳社) 上野 彰大 (著), 大嶋 勇樹 (著) 第1部

    理論編 第1章 なぜLLM アプリケーションを評価する必要があるのか Amazonで 第2章 LLMアプリケーション評価設計の全体像 第3章 LLMアプリケーション評価の実行プロセスと運用設計 ご予約ください! 第4章 評価指標の設定の考え方 第5章 LLM-as-a-Judge 第6章 LLMOpsによる継続的な改善 第2部 実践編 第7章 テーマ設定とサンプルアプリケーションの準備 第8章 評価の初期設計とデータセットの作成 第9章 リリース前の評価とチューニング 第10章 リリース後の評価と継続的な改善 https://www.amazon.co.jp/dp/4798190721