ハーネスエンジニアリング入門 | Kiro と学ぶハーネスエンジニアリング 01

エージェントの出来はモデルだけで決まらず、モデル以外の全部 (ハーネス) にも左右されます。この資料では、ハーネスのうち使う人が足す外側を、導く、確かめる、囲う、回す、の 4 つで組み立てる考え方を、Kiro の機能に置いて説明します。会議室の予約アプリで Kiro がくり返した外れ (関係のないテストが落ちたまま終える) を記録し、Kiro が答え終えるときにテストを流す Hook (Agent Stop) と Steering の 1 行を足します。足す前と足したあとの同じ頼みを、Kiro IDE の本物の画面で見せます。足したあとは 1 回流してテストが通ったところまでで、Hook が Kiro に直させる場面はまだ見ていません。シリーズ「Kiro と学ぶハーネスエンジニアリング」の 01 (考え方) です。

Transcript

1. Kiro と学ぶハーネスエンジニアリング 考え⽅ ハーネス エンジニアリング⼊⾨ エージェント = モデル + ハーネス 2026-11 時点 (Kiro IDE 1.4) 2026 年 11 ⽉ 稲⽥ ⼤陸 アマゾン ウェブ サービス ジャパン 01 + Kiro + Harness Engineering © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1
2. はじめに ⾃⼰紹介 稲⽥ ⼤陸 いなだ りく (いなりく) アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 製造業のお客様を中⼼に⽀援 最近の取り組み AI 駆動開発ライフサイクルの推進 Kiro と AWS Amplify の情報発信 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. X @inada_riku Speaker Deck speakerdeck.com/inariku Zenn zenn.dev/inariku GitHub github.com/inariku 2
3. はじめに シリーズの中の位置 いまは 01 ハーネスエンジニアリング⼊⾨、次は 02 決まりと地図を渡す、04 機械で確かめる 考え⽅ 01 導く 02–03 確かめる 次に読む 01 ハーネスエンジニアリング⼊⾨ 次に読む 02 決まりと 地図を渡す 04 機械で確かめる 意図を 05 AI に確かめさせる 03 仕様で渡す © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 04–05 囲う 06 回す 06 できることを囲う 07–08 07 CI に載せる ハーネスを 08 育てる 3
4. はじめに この資料で分かること モデル以外の全部がハーネス。使う⼈はその外側を⾜して育てる 1 ハーネスとは何か。エージェント = モデル + ハーネス 2 外側のハーネスの 4 つの仕組み: 導く、確かめる、囲う、回す 3 Kiro が外したことを記録し、2 回⽬で仕組みに変える進め⽅ + 前に読むとよい資料: ⽬指せ Kiro マスター 01 Kiro ⼊⾨ 例は会議室の予約アプリ。画⾯は Kiro IDE 1.4.121、試しは Kiro CLI 3.1.0 図の⾊: 紫は要点と⼈が決める所、⻘は Kiro の動き、緑は通ったもの © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4
5. 考え⽅ よくある外れ ⾒⽴て違い、作りすぎ、指⽰の取り違えは、確かめでは捕まえにくい 1 原因の⾒⽴て違い 2 作りすぎ ⼩さな頼み 3 指⽰の取り違え Aを 直す場所を 頼んでいない機能や 頼みと違うものを 取り違える 仕組みまで作る 作る B Böckeler (martinfowler.com の記事の著者) が、テストでも AI のレビューでも確実には捕まらないと挙げた 3 つ。14 枚 ⽬の例題の外れは確かめで捕まる種類で、この 3 つは 03 (仕様) と 05 (AI のレビュー) で扱う © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 5
6. 考え⽅ エージェント = モデル + ハーネス モデル以外の全部 (指⽰、道具、記憶と⽂脈、確かめ、許可、記録) がハーネス ハーネス: モデル以外の全部 = エージェント © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. + 指⽰ 道具 記憶と⽂脈 確かめ 許可 記録 モデル 6
7. 考え⽅ 内側と外側 Kiro には作り付けのハーネスがあり、使う⼈はその外側を⾜す 外側のハーネス: 使う⼈が Kiro の機能で⾜す Steering Spec Hook 許可の決まり headless (CI) 内側のハーネス: Kiro に作り付け (IDE、CLI V3、Web、Mobile で同じ) 会話の段取り 道具の実⾏ ⽂脈の管理 許可の判定 モデルとのやり取り モデル Steering や Hook の仕組みは内側にあり、中⾝ (決まりのファイル、Hook の設定) を使う⼈が書く。ハーネスの作りが 違うと、同じモデルと課題でトークンの量が約 2 倍変わった例もある (Strands のブログ。Kiro は⽐べていない) © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7
8. 考え⽅ 外側の 2 つの⽬的 1 回⽬で正しく作る⾒込みを上げ、⼈の⽬に届く前に直せるだけ直す 1 1 回⽬で当てる 2 ⼈に届く前に直す 1 回⽬ 前もって決まりと意図を渡し、 Kiro が⾃分で確かめ、直してから 最初の作りで正しくなる⾒込みを上げる ⼈のレビューに渡す どちらも、⼈のレビューの⼿間を減らして品質を上げる。無駄に使うトークンも減る © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8
9. 外側のハーネス 導く仕組みと確かめる仕組み 前もって⽅向を決めるガイドと、動いたあとに確かめて返すセンサー 導く仕組み (ガイド) 確かめる仕組み (センサー) 動く前に、⽅向を決める 動いたあとに、確かめて返す Kiro が作る 決まり (Steering)、 仕様 (Spec)、⼿順 (Skill) テスト、lint、型、 結果を Kiro に返す AI のレビュー ⽚⽅だけだと、同じ外れをくり返すか、決まりが効いたかが分からないまま © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 9
10. 外側のハーネス 機械と AI 導くも確かめるも、機械で動くものと、AI が判断するものがある 機械で動く 速く、毎回同じ結果 導く 確かめる AI が判断する 意味を⾒るが、揺れて⾼い コードを決まった形に Steering、Skill 書き換える道具 (読んで判断される決まり) テスト、型、lint AI のレビュー役 構造のテスト 判定役のモデル 機械の確かめは毎回の変更で流せる。AI の確かめは⾼くて揺れるので、要る所に絞る © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 10
11. 外側のハーネス 囲うと回す 外れたときの被害を⼩さくする囲いと、流し続ける回しも、外側に⼊れる 導く 02、03 確かめる 04、05 囲う 06 回す 07、08 前もって決まりと 動いたあとに 外れたときの CI と定期の仕事で 意図を渡す 確かめて返す 被害を⼩さくする 流し続ける 導くと確かめるは Böckeler の分け⽅。囲うと回すは、このシリーズで⾜した柱 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 11
12. 外側のハーネス テストや CI と何が違うか 結果をエージェントが読んで直す形にし、外れを⾒て仕組みを⾜し続ける 前から テストと CI ⼈が結果を読む ⼈が直す テストと CI Kiro が結果を読む Kiro が直す ハーネス 通るまでくり返す ⼈は、外れを⾒て仕組みを⾜す ⾃動のテストに頼ることは AI の前からしていた (kiro.dev のブログ)。変わるのは、結果を読んで直す相⼿ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 12
13. 外側のハーネス Kiro の部品の地図 Kiro の機能を、導く、確かめる、囲う、回す、に置く 導く 確かめる 囲う 回す 前もって渡す 動いたあとに確かめる 届く範囲を決める 流し続ける Steering 02 Hook 04 許可 06 Kiro CLI の headless 07 Spec 03 カスタムエージェント 05 サンドボックス 06 Workflows 08 Skill 02 サブエージェント 05 .kiroignore 06 Kiro Crew 08 Powers 02 チェックポイント 06 丸の数字はこのシリーズで扱う回。エージェントの 2 つはレビュー役として使うとき。チェックポイントは IDE の機能 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 13
14. 例題 失敗の記録 例題に Steering も Hook も無い状態で、同じ頼みを 2 回ずつ流して記録した 頼み 1 回⽬ 2 回⽬ 予約を延⻑ 関係のないテストが 同じく、落ちたまま できるように 落ちたまま終えた 終えた ⼀覧の時刻を 同じく、落ちたまま 全部のテストが 1 列の形に 終えた 通って終えた 落ちるテストを 試⾏の回数を 100 から 回数を保ったまま、 直して 10 に減らして通した 遅い原因を直した 2 回以上起きた外れ: 関係のないテストが落ちたまま終える (上の 2 つの頼みの 4 回のうち 3 回) 性質 11 は、DB を閉じて開き直しても中⾝が同じかを 100 通りの⼊⼒で確かめるテスト。機械が混むと 時間切れで落ちる © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 14
15. 例題 1 つの外れを直す 2 回以上起きた外れに Hook を⾜し、直すときの決まりを Steering に 1 ⾏⾜す ⾜す前: 時刻の表⽰の頼みを Kiro IDE で流した 関係のないテストが落ちたまま終えた。⾒⽴ては 正しいが、毎回、⼈が確かめて決める⼿間が 残るので外れとした © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾜したもの 導く: 上の Steering の 1 ⾏。Hook で 落ちたテストを直させると、テストを弱めて 通しやすくなるため (14 枚⽬の 3 ⾏⽬) 確かめる: Agent Stop の Hook で npm test。 落ちると Kiro が続けて直す 15
16. 例題 同じ頼みでもう⼀度 ⾜したあと、時刻の表⽰の頼みでは、テストも Hook も通って終えた 時刻の表⽰の頼みを、⾜したあとの例題で流した 全部のテストが通って終えた。そのあと Hook 「⽌まる前にテスト」が npm test を流し、通った 落ちるテストそのものを直す頼み (⾜したあと) 回数 (100 回) を保ち、遅い原因を測って直した 1 回では効いたとは⾔えない。この回は性質 11 も通り、Hook が続きをさせる所は⾒ていない © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 16
17. 例題 同じ外れをくり返させない 外れは記録し、くり返したら仕組みに変える 外れる 1 回⽬: 記録する 2 回⽬: 仕組みにする 同じ頼みで確かめる 次の外れへ Hashimoto は外すたびに、Böckeler は何度も起きたら仕組みを直す、と書く。このシリーズは 2 回⽬で仕組みにし、 ⾜した仕組みで起きやすくなる外れ (14 枚⽬の 3 ⾏⽬のテストを弱める) は⼀緒に決まりにする © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 17
18. 置き⽅ 早いうちに確かめる 速い確かめは書いたその場で、重い確かめは統合のあと、たまるずれは定期の⾒張りで ⾒つけるのが早いほど、直すのが安い 早い 遅い、重い 書いたその場 応答を終えたとき 統合のあと 定期 保存の Hook Agent Stop の Hook PR の CI ずれの⾒張り 数秒 数秒〜 数分〜 毎⽇、毎週 時間は⽬安。Hook のコマンドには既定の時間切れがあるので、⻑いテストは設定の時間切れを延ばす © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 18
19. 置き⽅ ⼈の役⽬ ⼈を外すのではなく、⼈の判断が要る所に⼈を向ける Kiro に任せる ⼈が決める 作る、確かめる、直す、を 通るまでくり返す 何を作るか (意図) 何を良しとするか 仕組みをどう⾜すか よいハーネスは、⼈の⼿をなくすことより、⼈の⼿が⼀番要る所に向けることを⽬指す (Böckeler) © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 19
20. まとめ まとめ モデル以外の全部がハーネス。外れは記録し、くり返したら仕組みにする ハーネスは、モデル以外の全部。使う⼈は、導く、確かめる、囲う、回す、で外側を⾜す 明⽇からの 3 ⼿ 1 2 3 Kiro が外したことを 2 回⽬の外れを、Steering の 同じ頼みで 1 ⾏で記録する 1 ⾏か Hook のテストにする 外れないかを確かめる © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 20
21. まとめ 次に読む資料 すぐ試すなら 04、決まりの書き⽅は 02、⾃分のエージェントを作るなら Strands の 01 すぐ試すなら 決まりの書き⽅は 04 ⾃分のエージェントを作るなら 02 01 機械で確かめる 決まりと地図を渡す Kiro と学ぶ Strands Agents (テストや型を Hook で返す) (Steering、Skill、Powers) 01 Strands Agents ⼊⾨ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 21
22. 付録 A1 ⽤語 ⽤語 意味 ⽤語 意味 ハーネス モデル以外の全部 機械の確かめ テスト、型、lint 内側のハーネス Kiro に作り付けの部分 AI の確かめ AI のレビュー 外側のハーネス 使う⼈が⾜す部分 囲う 導く仕組み (ガイド) 動く前に⽅向を決める 回す 動いたあとに確かめて返す Agent Stop の Hook Kiro に読ませる決まり headless 画⾯を開かずに頼む使い⽅ 失敗の記録 Kiro の外れを書いたもの 確かめる 仕組み (センサー) Steering 性質のテスト © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 多くの⼊⼒で決まりを 確かめる 外れたときの被害を ⼩さくする CI と定期の仕事で 流し続ける Kiro が応答を終える たびに動く 22
23. 付録 A2 出典と参考 Birgitta Böckeler「Harness engineering for coding agent users」(2026-04-02) https://martinfowler.com/articles/harness-engineering.html Mitchell Hashimoto「My AI Adoption Journey」(2026-02-05) https://mitchellh.com/writing/my-ai-adoption-journey kiro.dev のドキュメント: How Kiro works、Steering、Hooks、Hook types、Hook actions、Permissions、Local command sandbox、Kiroignore、Agent Skills、Create powers、Custom agents、Invoking as sub-agents、 Checkpoints and rewind、Headless mode、Workflows、Kiro Crew の Quick start https://kiro.dev/docs/ kiro.dev のブログ: One agent, every surface、Keeping a software factory stable at 1,000 PRs a week https://kiro.dev/blog/ Strands のブログ: We ran 94,000 trials to measure the cost of harness choice (2026-10-13) https://strandsagents.com/blog/ どれも 2026-11-09 に読んだ。画⾯は Kiro IDE 1.4.121 で 2026-11-09 に撮った。例題の試しは Kiro CLI 3.1.0 で、同じ頼みを 2 回ずつ、例題に Steering も Hook も無い状態で流した (作者の⼿元のグローバルの Steering は読まれていた)。例題は公開していない。 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 23