QA4AIDDを考える会#3 ハーネスとは何か

Transcript

1. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です ハーネスとは何か コーディングエージェントを支える外側の仕組み AI駆動開発の品質保証を考える 【第３回】 AI駆動開発に対するQAを考える会 株式会社ベリサーブ 研究開発部 上野 彩子 2026年５月１5日
2. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 2 発表者紹介 上野 彩子 (UENO Ayako, Ph.D.) 株式会社ベリサーブ 研究開発部 中堅SIerにて組み込みシステムの検証、業務システムの要件定義～運用、自社 プロダクト開発を経験。その後、大手第三者検証会社でソフトウェアテスト、ア ジャイル推進、組織運営に従事。大学院留学とスタートアップ立ち上げを経て、 ベリサーブへ参画 コミュニティ活動など JaSST Tokyo実行委員
3. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 3 ハーネスと聞いて何を思い浮かべますか？ 犬＋ハーネス 人＋ハーネス AIエージェント＋ハーネス ？ 勝手に危険なことをしない、できないようになっている
4. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 4 AIエージェントの本質＝自律実行 実行 評価 次の行動 望ましい自律実行 実行 不十分な評価 誤った次行動・人間 の介入 望ましくない自律実行 AIエージェントは、道具を使いながら調べ、直し、確かめ、次の行動を決める。望ましい 自律実行を支える外側の仕組みが必要
5. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 5 エージェントハーネスとは何か？ 2025年9月 Anthropic モデルにコンピュータと道具を与え、反復しながら働けるようにする 外側の仕組み 2026年2月 OpenAI agent loop and logic を支える外側の仕組みであり、環境と フィードバックループの設計が性能を左右する 2026年3月 LangChain モデル以外の code / config / execution logic 全体が harness であり、それが agent を成立させる [1] Anthropic, Building agents with the Claude Agent SDK（2025-09-29） [2] OpenAI, Unlocking the Codex harness: how we built the App Server（2026-02-04） [3] OpenAI, Harness engineering: leveraging Codex in an agent-first world（2026-02-11） [4] LangChain, The Anatomy of an Agent Harness（2026-03-10） • エージェントハーネスは、コーディングエージェント本体の外側で、道具・作業 環境・ルール・確認方法を与え、意図通りに安全に、確かめながら仕事を進め られるようにする仕組み
6. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 6 AI駆動開発とハーネスエンジニアリング • Claude CodeやCodexのようなコーディングエージェントは、ベンダーが汎用的なハーネスを 取り付けたもの • 個別案件向けにハーネスを整えれば、自チームのルールに即してコーディングエージェントを制御 できる可能性がある ハーネス（ベンダー） ハーネス（自作） AIモデル 商用の コーディングエージェント ハーネスエンジニアリング コーディングエージェント向けに、ハーネスを設計し、改善すること 例：何をさせるか、どの道具と環境を使わせるか、どこで止めるか、どう確かめるか決める
7. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 7 OpenAI社のハーネスエンジニアリング • OpenAIが、人間が1行もコードを書かずに5カ月間で約100万行規模の開発を Codexに実施させた • Codexのパフォーマンスを最大にするために、環境やハーネスを整えたことを明ら かにしている ハーネスエンジニアリング：エージェントファーストの世界における Codex の活用 | OpenAI
8. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 9 ハーネスを構成する要素 • AI駆動開発は作る速さを上げる • ハーネスはコーディングエージェントが「最大限働けるようにする」ことと「自 分のアウトプットを確かめられるようにする」ことを担当する AIが道具を使い、状態を持ち、反復しながら仕事を進められる ようにする ハーネスに含まれるもの ・指示 ・道具 ・記憶 / 状態 ・作業場所 ・実行ループ / 境界 ・instructions / prompts ・tools / MCP / browser / shell ・files / memory / workspace / sandbox ・approvals / guardrails / handoff AIや成果物を同じ条件で動かし、同じ基準で採点・比較できる ようにする ・課題 ・模擬部品 ・合格条件 ・採点 ・比較 / 記録 ・datasets / scenarios / tasks ・stubs / fixtures / clean env ・expected / graders / unit tests ・scores / traces / regression reports
9. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 10 コーディングエージェントにすでに入っているハーネスの例 Codex や Claude Code 系は、単なるモデル呼び出しではなく、道具・状態・制御・検証の仕組みをすでに外側に持っている 道具と作業場所 ・shell / file / browser / MCP ・sandbox / workspace / 実行環境 ・Codex: shell / file tools と sandbox ・Claude系: browser automation / Puppeteer MCP 状態と文脈の維持 ・thread / persistence / memory ・compaction / progress file / git log ・Codex: create / resume / fork / archive ・Claude系: feature list / progress file / init.sh 制御と安全 ・approval / policy / auth / config ・hooks / middleware / handoff ・Codex: approval request と typed item lifecycle ・LangChain系: hooks / middleware / subagents 反復と検証 ・run tests / screenshot / logs / trace ・review loop / PR / self verification ・OpenAI: review / test / PR を loop 化 ・Claude系: browser automation で E2E 検証 出典: OpenAI “Unlocking the Codex harness” / OpenAI “Harness engineering” / Anthropic “Effective harnesses for long-running agents” / LangChain “The Anatomy of an Agent Harness”
10. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 11 では、ユーザー側は何を作るのか ベンダーが用意してくれるもの • AIが動くための共通の道具 • 作業場所、状態保存、承認の仕組み • テスト実行、ログ取得、差分表示 • どの現場でもだいたい必要な機能 例: shell, file, browser, sandbox, thread, approval ユーザー側が作るもの 作業手順の例 • 最初に参照するファイルの定義 • 起動コマンド、テスト実行用コマンド • ここから先は人に確認を戻す、という線引 き 評価の例 • 毎回流す共通シナリオ • 今回の変更だけを見る差分シナリオ • ベース版と派生版で比べる項目 例えると: ベンダーは万能な工具箱を作る ユーザーは、その現場の作業手順書と検査表を具体化する 出典: OpenAI “Unlocking the Codex harness” / OpenAI “Harness engineering” / Anthropic “Effective harnesses for long-running agents” / Claude Code docs コーディングエージェントでカバーできないような自社固有の部分を足す
11. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 12 ソフトウェア開発はどう変わるか 従来の開発 要件・設計 実装 テスト AI駆動開発 要件 人が後追いで確認する ハーネスが適切に開発されたAI駆動開発 要件 AI駆動開発で速く大量に生成されたコードを、その場で評価する基準が必要 不具合修正が大変 人の認知負荷が高く、確認がボトルネックになる AIが速く作る 実行 / 評価ハーネスを用意 AIが速く作る 採点・記録する 実装に時間がかかる
12. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 13 派生開発でのハーネスの効き方 • 最近は、AI が既存コードを探索しながら読む力はかなり上がってきた • それでも派生開発で最後に難しいのは、「どこを直すか」より「既存を壊していないと 示すこと」 • リポジトリを探索し既存の資産を把握した上で、従来通りテストや評価で正しく変更 できているか、既存コードを壊していないかを確かめていく
13. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 14 既存コードベースの課題は「全部を入れる」から「探索できる」へ 最近は、grep / search / file jump を使って、必要箇所へたどりながら読む形が主流になってきた 以前の悩み • repo 全体を一度に読む 前提だった • 長文脈では必要情報が埋 もれやすい • 「入りきらない」が主な悩 みだった 最近の変化 • 検索しながら読み、関係 箇所へ飛べる • 依存やデータフローを候 補として絞り込める • 既存コード理解と影響候 補の洗い出しは現実的に なった 残る課題 • 探索結果はまだ「候補」に 過ぎない • セッションをまたぐと文 脈は薄れやすい • 比較できる証拠は別に作 る必要がある コードベース容量の問題は軽くなったが、消えてはいない。ボトルネックは「探索・圧縮・保持」の設計へ移っている
14. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 15 リポジトリを探索し、変更内容の正しさを確かめる 探索・修正でやること • 関係箇所に辿る • 依存関係やデータの流れを追う • 変更候補を絞る • 小さく直して動かす 例: 検索、シェル、ログ、既存テスト、起動スクリプ ト 評価ハーネスが担うこと • 共通シナリオを同じ条件で回す • 差分シナリオだけ足す • ベース版と派生版を同じ物差しで比べる • 結果を残し、次の派生でも使う 例: 共通シナリオ、差分シナリオ、比較項目、結果 記録 探索で影響範囲を特定し、修正後に「壊していないこと」を評価する =従来の回帰テストの考え方と同じだが、AI駆動開発の場合は回帰テストスイートが必須
15. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 16 では、何から始めるか コードベースを「探索できること」と前回の結果と「比べられること」を先に整える 1. 関係箇所へたどる入口をそろえる 検索、ログ、主要テスト、入口ファイルを AI がたどれる形に そろえる 2. 共通シナリオを決める 毎回必ず確認したい既存機能を少数でもよいので固定する 3. 差分シナリオを別で持つ 派生で変えた仕様だけを追加し、共通シナリオとは混ぜない 4. ベース版と派生版を同じ物差しで比べる 一度出た不具合も含め、比較結果を次の派生へ持ち越せる 形にする 派生開発では「前回の確認を次でも使える形にする」ことが、ハーネス設計の第一歩
16. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 17 QA4AIDDでは「評価」のハーネスを作りこむ活動を行う QA4AIDDは、AIが作ったものを安心して受け入れるために、何を、どう見て、どこで止めるかを決める活動 セキュリティ （脆弱性を含むコード への対策） • コンパイラワーニングへの対応 • セキュアコーディングの遵守 • 静的解析（既知の脆弱性） • ファジング（未知の脆弱性） 内部品質 （保守性、変更性） • コーディングガイドラインの遵守 • コードレビュー指標の遵守 • コードメトリクスの計測 これらはプロセスQAによる担保が必要
17. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です 18 まとめ • ハーネスとは、コーディングエージェントを外側から支える仕組みである • AI駆動開発では、作る速さより、出力を確かめる仕組みがボトルネックにな りやすい。アウトプットの評価、コーディングエージェントが正しく動いたかの 評価がますます重要になる • 人間の仕事は、コードを書くことからコーディングエージェントのためのハー ネスを作ることになってきている。ユーザーは自組織のルールや、ドメイン知 識・製品知識をコーディングエージェントが正しく利用できるようにしていく • QA4AIDDでは「出力を確認する仕組み」= 評価ハーネスを扱う
18. ©︎2026 VeriServe Corp. CONFIDENTIAL 会社名・製品名・サ−ビス名は各社の登録商標、または商標です イノベーションを加速させる 知恵と品質技術にアクセスする テクノロジーライフメディア www.veriserve.co.jp/helloquality world/ 25-002 本会に関するご相談、ご意見などございましたら、 以下の連絡先にお気軽にご連絡ください。 株式会社ベリサーブ vs_qa4aidd_staff@veriserve.co.jp