AI Agent Harness 入門

Transcript

1. AI Agent Harness 入門 モデルを「動くエージェント」 に変える実行基盤を作ってみた 明田川 主 Model + Harness Agent loop / tools / context / control
2. AI AGENT HARNESS なぜHarnessが必要か AIエージェントは「次に何をするか」を判断できても、 実務では実行・検証・権限制御・記録が必要。 Harnessはその外側の制御を担う。 LLM単体 Harness付き AI Agent 入力に回答する 外部環境は直接触れない 結果の真偽を自分で確認しづらい 観察 -> 判断 -> ツール実行 -> 結果を検証 -> 記録 -> 継続 / 停止 / 人に確認 - ファイル / シェル / APIを安全に使う - テスト・ビルド・UI確認で検証する - secrets / 破壊的操作を止める - traceとスクリーンショットで証跡を残す
3. AI AGENT HARNESS Agent Harnessとは何か Harnessは、モデルの出力をそのまま信じるのではなく、ツール実行・状態管 理・安全制御・検証を通して、実務タスクを進めるための実行層。 Agent = Model + Harness 1 ツールの実行 2 状態の管理 3 安全制御 4 検証 tool execution files / shell / API state / context history / workspace feedback loop result -> next action permission / verification policy / tests / trace つまり、HarnessはAIの判断を現実の操作へ変換し、結果を見て安全に次へ進めるための制御面。
4. AI AGENT HARNESS Harnessの4要素 Agent Loop Tool Interface 観察 -> 判断 -> 実行 -> 結果観察。max_stepsや 停止条件で暴走を防ぐ ファイル、シェル、API、ブラウザ、DBを型付きツー ルとして公開 Context Management Control Mechanisms 履歴、作業状態、検証結果を選別し、必要な文脈 だけ渡す policy、approval、sandbox、tests、traceで安全性 と正しさを担保 重要なのは「自律的に動く」ことより、「検証して安全に止まれる」こと。
5. AI AGENT HARNESS 今回作った Application Agent Harness 設計方針 対象アプリを外から指定し、解析・編集・検証・証跡保存を 同じ型で回せるローカルファーストなハーネスにした。 解析 ProjectAnalyzer: FW・package manager・test commandを検出 操作・安全 ToolRegistry: read / shell / patchを型付き管理 PolicyEngine: secrets・破壊的操作・deployを制御 検証・証跡 ValidationPipeline: lint / test / build / site auditを実行 SiteQualityAuditor: SEO・リンク・フォーム・brief・画像を確認 TraceLogger: tool / policy / validationをJSONL保存 /Users/t_aketagawa/codex /application-agent-harness
6. AI AGENT HARNESS 実装アーキテクチャ Core Loop & Safety Application Runtime AgentLoop 実行サイクル ProjectAnalyzer 技術スタックを読む ToolRegistry / ToolExecutor 外部操作の入口 PatchManager 差分ベース編集 PolicyEngine / ApprovalGate 危険操作を止める TraceLogger JSONLで作業を記録 ValidationPipeline 本当に動いたか確 認 FrontendRuntime / BackendRuntime 画面とAPIの検証入 口 ModelClientは差し替え可能。MVPではLLM本接続前に、Harness自体をテスト可能にした。
7. AI AGENT HARNESS Harnessを使った HP開発事例 別スレッドで、架空の BtoBシステム開発会社 HPを作成。 Harnessを「作る・検証する・証跡を残す」流れ に組み込んだ。 AKATSUKI Systems 要件 BtoB / 高級感 / 赤基調 Newsページ / 問い合わせ増 Harnessで確認 analyze -> validate lint / build / site audit visual checkpoints
8. AI AGENT HARNESS 何をどうチェックしたか 対象 チェック方法 確認できたこと 要件 site-brief.json 成功条件、必須ページ、CTA、計測イベント 静的品質 HTML / CSS 監査 SEO、OGP、viewport、h1、nav、alt、link フォーム DOM / 属性チェック 必須項目、状態通知、問い合わせ導線 レスポンシブ CSSシグナル検出 media query、overflow guard、reduced motion 視覚証跡 Playwright screenshot desktop / mobile / contact / news / 404 開発検証 npm + harness validate lint、build、site_quality_audit PASS 実行: app-agent-harness validate --workspace akatsuki-systems-site 結果: Web Quality Report PASS / 5 screenshots captured
9. AI AGENT HARNESS まとめと次の拡張 まとめ 1 モデル単体はエージェントではない 2 Harnessが loop / tools / context / control を与える 3 実用性は「検証して安全に止まれること」で決まる 4 アプリ作成には frontend / backend 両方の検証が必要 Next - 実LLM ModelClient - ContextManager - CLI approval prompt - rollback / checkpoint - Playwright UI検証 - OpenAPI / contract test - HarnessImprover Harness Engineering = モデルの失敗を、再発防止の仕組みに変える技術。