Share
Embed
Transcript
29 slides
-
Speaker Introduction 氏名:兼安 聡 所属:株式会社サーバーワークス アプリケーションサービス本部 在住:広島 担当: PM、SM、DevOps、仕様駆動開発 SNS(X):@satoshi256kbyte
• • • • • • 2026 Japan AWS Ambassadors 2024-26 Japan AWS Top Engineers 2024-26 Japan AWS All Certifications Engineers 2025-26 AWS Community Builders 認定スクラムマスター PMP 2 -
目次 1. Kiro Crew の基本機能と気になるところ Kiro Crewとは Kiro
Crewの機能 Kiro Crewの気になるところ 2. Kiro CrewでStrands Decider 2Bに関する技術検証をやってみた Kiro Crewで技術検証をしてみる 意思決定モデルとは?Strands Decider 2Bとは? Strands Decider 2Bによる要件とE2Eの充足度の判定 Kiro Crewの指示の流れ 投入したプロダクト概要 検証結果 3. まとめ -
Kiro Crewとは ⚫ Kiro CrewはAIにメモリ・定期実行・並列処理・承認の仕組みを足して、 「任せて離れて、戻ったら成果がある」を可能にするOSSの実行基盤 ⚫ 元はAmazon社内の個人プロジェクト(MeshClaw)が始まりのアプリ ⚫ オープンソース(AWSサービスではなくDLしてインストールする)
⚫ デスクトップアプリ、Webアプリなどの提供形態がある ⚫ 開発者も含めた多様な職種の人が使うことを意識している ⚫ 出典: Kiro Crew の紹介(AWSブログ) 5 -
Kiro Crewの機能 機能 内容 チャット 複数の会話、サブエージェントを並列に ワークフロー 目的から組み立て、途中から再実行 スケジュール 定期ジョブ、見張り、Webhook
メモリ、スキル 訂正を教訓にして引き継ぐ 連携 MCP、ブラウザ操作 Apps 目的特化の画面を追加 セキュリティ サンドボックス、署名付き監査ログ 6 -
注目の機能① エージェントハーネスの選択 基盤 Kiro Agent 備考 Default Kiro CLI Claude
Code Codex サンドボックス必須 OpenCode、goose Kiro Agent 内蔵エンジン Pi CrewのMCPツールは不可 ⚫ 動作中のセッションは切り替えられない ⚫ SIerをやっていると顧客の要望に合わせてエージェントハーネスを合わせることがあるので なかなか便利で嬉しい機能 ⚫ ただし、MCPサーバーやパーミッションの設定は エージェントハーネスごとなのに注意 8 -
注目の機能② 意思決定モデルの選択(Feature Previews) 選択できるモデル 備考 Jev、hosted by TypeSafe Plumb-4B Strands
Decider 2B ローカルで動く メモリが約12GB必要 Laya ローカルで動く メモリが約6GB必要 Youra SageMaker endpoint ⚫ Settings>Developerの中にある設定 ⚫ 意思決定モデルは、判断・確度に特化した高速・安価なモデル ⚫ 外部サービスのAPIキー要るものあり ⚫ 一部は画面から選択でインストールされてローカルで動くようになる ⚫ 意思決定モデルは質問に対してどのモデルとどのスキルを使って回答するかの判定に使われる 9 -
Kiro Crewの気になるところ 気になる点 内容 Claude Desktopとほぼ同じ チャット、定期実行、メモリは双方にある 周囲に合わせて相乗効果が得られるツールを選択する方がよい メモリを消費する Apple
M5、メモリ 24GB、MacOS 26.6.2 で試したところ、 「開発案件」を複数同時実行するとメモリ消費量が結構高く待ち時間 が発生する 複数こなせるのは「作業」と思った方がよい 設定がハーネスごとに異なる MCP、パーミッションなどがエージェントハーネスごとに別管理 デフォルトハーネスがKiro Crewなこともあり、 「効いてると思ったら効いてない」が起きる可能性がある 10 -
Kiro CrewをAmazon EC2でWebアプリとして使用する ⚫ (Kiro Crewに限った話ではないが)AIエージェントとそのツールは、 人に寄せた設定を行うとAIが事故を起こす可能性が高まるし、 AIに寄せた設定を行うと人が使いづらいということが起きやすい ⚫ これの対策としてAIはそれ専用の端末で動かす方法がある
⚫ Kiro CrewはAmazon EC2にインストールしてブラウザ操作が可能 参考:エンジニアリングタスクを自動化・調整するプラットフォーム「Kiro Crew」を EC2 で動かしてみた ⚫ AI専用端末として扱うと役割がしっかり分かれてて気兼ねなく使える 11 -
Kiro Crewで技術検証をしてみる ⚫ Kiro Crewだけで、簡単なシステムの技術検証をやり切れるか試してみる ⚫ 技術検証の内容は以下の通り 要件定義とE2Eテスト一覧を突き合わせ、充実度をAIで判定する
判定には意思決定モデルの Strands Decider 2Bを使用する 判定結果(比較結果)をレポートで返す 精度、所要時間、コストも検証、そしてKiro Crewで開発するのが現実的なのかの感覚も探る 本件は、AIがコードを書くとしてそのテストが問題になりつつあるので、 その対策の検討事項の一つ 要件定義とE2Eテスト一覧は事前に作ってある想定とする 13 -
Strands Decider 2Bとは? 項目 内容 提供元 AWS(AWS Strands Labs) 大きさ
19億パラメータ(1.9 billion。名前の「2B」は、ベースモデルの大きさ) ベースモデル Qwen3.5-2B-Base(ライセンスは Apache-2.0) 仕組み 選択肢を1回の計算で採点する(文章を生成しない) 出力 選択肢ごとのスコア(0〜1) 1回の入力上限 24,576トークン(Lambda 版の既定値。変更可) 公式の動かし方 AWS Lambda(GPUなし。CPUだけで動く)、 Amazon SageMaker、手元のGPU/Mac/CPU 公式の目安 確信度0.9以上は、おおよそ95%正しい ⚫ 「理由の文章」は出せない。根拠は確信度で残す ⚫ 参考(公式) strands-decider(GitHub・概要) モデルの置き場所(Hugging Face) 15 -
Strands Decider 2Bによる要件とE2Eの充足度の判定 ⚫ 判定のしかた 要件1つずつに対して、E2Eごとに対応するかを「はい/いいえ」で質問 スコア0.5以上を「はい」とする
1件でも「はい」があれば、その要件は「対応あり」 ⚫ 図中のAWSサービスの名称は略しています Amazon S3:S3 Amazon EventBridge:EventBridge AWS Step Functions:Step Functions AWS Lambda:Lambda 16 -
Kiro Crew の指示の流れ ⚫ AWS MCP設定: 東京リージョンの aws-mcp を追加 ⚫
仕様駆動開発をするため、Spec Kit インストール: specify を導入(kiro-cli連携) ⚫ プロダクト概要の投入: 概要を渡し、Spec Kit を回し始める constitution(憲章): プロジェクトの原則を決める specify(仕様): 作るものを書く clarify(曖昧点の確認): 質問に答えて仕様を固める plan(設計): 構成と方式を決める tasks(作業分解): 34個の作業に分ける analyze(食い違い点検): 書類どうしのずれを直す implement(実装とデプロイ): 作業の順に実装し、AWSで確かめる 17 -
Kiro Crew の指示の流れ ー 各段階でやったこと 段階 内容 AWS MCP設定 東京リージョンの
aws-mcp を追加 Spec Kit specify 1.4.0 を導入(kiro-cli連携) 概要投入 プロダクト概要を渡し、初手の基盤を決めた constitution〜tasks 原則、仕様、設計、34個の作業を作成 analyze 9点の食い違いを直した implement tasks順に、赤→緑で実装。AWSへデプロイしE2Eで確認 ⚫ 開発者(本登壇の発表者)は各段階で選択肢を選び、 事実や方針を答えた 18 -
投入したプロダクト概要 ⚫ 目的:要件とE2Eテスト一覧を突き合わせ、カバー状況を自動判定する(PoC向けMVP) ⚫ 進め方:GitHub Spec Kit による仕様駆動開発 ⚫ AIモデル:Strands
Decider 2B ⚫ 構成(当初): Amazon EC2(GPU) AWS Step Functions AWS Systems Manager Amazon S3、AWS CDK ⚫ 流れ:S3にCSV投入 → 自動起動 → 推論 → レポート → 停止 ⚫ → 検証の途中で、EC2/GPU案から AWS Lambda 案へ変更 19 -
検証結果 ー 開発時間 作業の区切り 時刻 初期構成のコミット 12:46 仕様・設計のPR(#1)をマージ 13:05 tasks
のPR(#2)をマージ 13:13 MVP実装のPR(#3)をマージ 14:25 失敗経路のPR(#4)をマージ 17:06 仕上げのPR(#5)をマージ(Spec 完了) 18:00 ⚫ Spec 完了までは約5時間 ⚫ 時間には、AWS上のデプロイとE2Eの待ち、人の判断の待ちを含む ⚫ AWS MCP設定と mise の用意(約0.5時間)は含まない 20 -
検証結果 ー 所要時間とコスト 検証項目 回数 所要時間 コスト 100要件×100テスト (10,000組) 1回目
4分35秒 約$1.38 100要件×100テスト (10,000組) 2回目 4分17秒 約$1.30 100要件×100テスト (10,000組) 3回目 4分37秒 約$1.39 ⚫ 2回目が少し早いのはウォームスタートになったからと思われる 21 -
検証結果 ー 要件ごとの結果 モデルの判定 確度 実際の テスト数 E2E-001、E2E-002 E2E-001(見逃し E2E-002)
0.88 2 1 REQ-002 5回失敗で15分ロック E2E-003 E2E-003 0.90 1 1 REQ-003 出勤ボタンで出勤を打刻 E2E-004、E2E-006 E2E-004(見逃し E2E-006) 0.93 2 1 REQ-004 退勤ボタンで退勤を打刻 E2E-005 E2E-005 0.92 1 1 REQ-005 打刻漏れの日に修正を申請 E2E-007 E2E-007 0.89 1 1 REQ-006 管理者が修正申請を承認・却下 E2E-008、E2E-009 なし(見逃し E2E-008、E2E-009) 2 0 REQ-007 有給休暇を申請、残日数を更新 E2E-010、E2E-011 E2E-011(見逃し E2E-010) 2 1 REQ-008 月ごとの勤務時間と残業の集計 なし なし 0 0 REQ-009 部署ごとの勤怠を一覧 E2E-013 E2E-013 0.91 1 1 REQ-010 月次の勤怠をCSVでダウンロード E2E-014 E2E-014 0.79 1 1 REQ-011 自分の勤怠履歴を月ごとに確認 E2E-012 E2E-012 0.89 1 1 REQ-012 36協定の上限超えを警告 なし なし 0 0 要件 実際のテスト REQ-001 メールとパスワードでログイン 0.79 モデルが 見つけた数 22 -
検証結果 ー 所感 ⚫ Strands Decider 2Bの処理が思ったより長く、思ったより見逃しが多い ⚫ 確度も0.95を超えるものがなかった ⚫
この結果からすると、これを人間が見るとしたら確度が低いものやE2Eがないと判断されたものは テストが足らない可能性が高いとして重点的にレビューが必要と判断すべきだろう ⚫ 仮に実用に耐えうる結果が出ても、AIだけで要件に対してE2Eが揃っているか判断させるつもりは なく、あくまでテストケースのレビューの判断材料にするつもりだったが、そうだとしても見方は レビュアーに共有しないと間違った判断を下してしまいそう 23 -
検証結果 ー 開発体験 ⚫ 公式の謳い文句の通り、他の作業と並行できて快適 ⚫ (他のツールでも同様の機能があるが)次にやるべきを選択肢で提供してくれるので入力が楽 選択肢も妥当なものが多い ⚫ Kiro
Crewの意思決定モデルでLayaをセットしましたが、あまり効果が実感できず・・・ たくさんスキルを入れていればまた違ったかもしれない ⚫ エージェントハーネスが選べるのはいいが、 現セッションが何のハーネスで動いているかわかりにくく不安になる ⚫ ディレクトリ構成やファイル内容が見づらいのは開発者としては辛い PM視点で見るとこれメインの開発だとあまり自己レビューしてないPRが挙がってこないか不安 ⚫ IDEと併用するのがベターと思う 24 -
まとめ ⚫ Kiro CrewはAIにメモリ・定期実行・並列処理・承認の仕組みを足して、 「任せて離れて、戻ったら成果がある」を可能にするOSSの実行基盤 ⚫ 使い勝手としては同系統のツールと同等 ⚫ 便利ではあるが、開発者が使うならIDEと併用するのがベター IDEがいらなくなる世界は流石にもう少し未来だと思われる
⚫ 意思決定モデル: Strands Decider 2Bを用いた構成はそこまで苦労せずに組める ⚫ ただし、カタログスペックほどの性能を引き出すにはかなり工夫が必要と感じる ⚫ 特に結果の見方については、一定の知識を持っておかないと誤った判断を下しそうである 27 -
参考 ⚫ Kiro Crew の紹介 ⚫ Hugging face - strands-decider-2B-qwen3.5-v1-2610
⚫ strands-decider ⚫ GitHub Spec Kit ⚫ エンジニアリングタスクを自動化・調整するプラットフォーム「Kiro Crew」を EC2 で動かしてみた ⚫ pnpmでPythonのライブラリを管理できるようになりました ⚫ 検証コード(GitHub) https://github.com/satoshi256kbyte /req-coverage-analyzer 29