AI駆動開発時代の品質保証

KAG AI WEEK ummer Day4 ~KDDI DIGIAL GAEゲスト会！~
AI駆動開発時代品質保証
山本 直弥（Nao）/ 上田 瀟逸 (ハリネズミ)
2026年7月16日 (木)

Transcript

1. AI駆動開発時代の品質保証 KAG AI WEEK Summer Day4 ~KDDI DIGITAL GATEゲスト会！~ 山本 直弥（Nao）/ 上田 瀟逸 (ハリネズミ) 2026年7月16日 (木)
2. 2 KDDI Agile Development Center Corporation 自己紹介 山本 直弥 (Nao) 上田 瀟逸 (ハリネズミ) AWS Community Builders ( 2025 ~ ) DevTools AI Engineer KAG AI WEEK Summer Day4 ~KDDI DIGITAL GATEゲスト会！~
3. 3 KDDI Agile Development Center Corporation こんなことやってます お客様のAI活用支援、内製開発支援など 最近はテスト自動化や品質評価、運用 などに関する「開発(実装)以外」のテーマが増えてきた・・・ 開発以外で AIを活用するにはどうすれば？ ※画像はイメージです
4. 4 KDDI Agile Development Center Corporation 課題：AIによる生産が加速するほど、評価の負荷は高くなる 指標 変化 意味 タスク完了数 +21% AIで個人生産性は向上 PRマージ数 +98% コード量は2倍近くに増加 PRレビュー時間 +91% レビューコストも同様に急増 Faros.ai 調査：1,255チーム・10,000人以上の開発者を対象（2025/7） https://www.faros.ai/blog/ai-software-engineering 生成AIの活用により何が増えたか そして誰もレビューしなくなった レビュー しきれない
5. 5 KDDI Agile Development Center Corporation 課題：生産が加速するほど、評価の負荷は高くなる 指標 変化 意味 タスク完了数 +21% AIで個人生産性は向上 PRマージ数 +98% コード量は2倍近くに増加 PRレビュー時間 +91% レビューコストも同様に急増 Faros.ai 調査：1,255チーム・10,000人以上の開発者を対象（2025/7） https://www.faros.ai/blog/ai-software-engineering 生成AIの活用により何が増えたか そして誰もレビューしなくなった レビュー しきれない レビューも AIでよいのでは？
6. 6 KDDI Agile Development Center Corporation 品質保証関連サービスが続々登場
7. 7 KDDI Agile Development Center Corporation 6月の AWS Summit NY の品質関連アップデート アップデートサービス 内容 AWS Continum ( 旧 AWS Security Agent ) コードレビュー（脅威モデリング+PRスキャン+修正） 脆弱性対応（優先順位付+悪用可能性の証明+修正駆動） AWS DevOps Agent /Release Management テスト・リリース判定（自律リリーステスト） Strands Agents 進化 エージェント自体の品質（カオステスト＋隔離実行） Bedrock AgentCore Optimization（GA） エージェント自体の継続改善（観測 →評価→改善ループ） 開発以外のアップデートも多 かった印象 AWS Continum (AWS Security Agent) AWS DevOps Agent StrandsAgents AgentCore
8. 8 KDDI Agile Development Center Corporation 新サービスといえば、ちょうど1年前 仕様駆動開発 （Kiro） 登場
9. 9 KDDI Agile Development Center Corporation 最初から仕様通りに成果物を作り込む、レビューやテストでの手戻りを減らす Vibe Codingと比較してAIの出力品質が向上 Kiro 実装開始前に 人とAIが協力して 仕様を作り込む レビュー担当が人であることは 変わらない 仕様通りの実装なら とりあえずOK？ 実装ルール + 仕様書 CI/CD 自動テスト セキュリティは？ ベスプラは？ 仕様が間違ってない？
10. 10 KDDI Agile Development Center Corporation 最初から仕様通りに成果物を作り込む、レビューやテストでの手戻りを減らす Vibe Codingと比較してAIの出力品質が向上 Kiro 仕様を作り込む 仕様通りに作る レビュー担当が人であることは 変わらない 仕様通りの実装なら とりあえずOK？ 実装ルール + 仕様書 CI/CD 自動テスト セキュリティは？ ベスプラは？ 仕様が間違ってない？ 仕様通り = レビューOK だと思ってる？
11. 11 KDDI Agile Development Center Corporation 最初から仕様通りに成果物を作り込む、レビューやテストでの手戻りを減らす Vibe Codingと比較してAIの出力品質が向上 Kiro 仕様を作り込む 仕様通りに作る レビュー担当が人であることは 変わらない 仕様通りの実装なら とりあえずOK？ 実装ルール + 仕様書 CI/CD 自動テスト セキュリティは？ ベスプラは？ 仕様が間違ってない？ 「仕様」の品質、低くね？
12. 12 KDDI Agile Development Center Corporation 最初から仕様通りに成果物を作り込む、レビューやテストでの手戻りを減らす Vibe Codingと比較してAIの出力品質が向上 Kiro 仕様を作り込む 仕様通りに作る レビュー担当が人であることは 変わらない 仕様通りの実装なら とりあえずOK？ 実装ルール + 仕様書 CI/CD 自動テスト セキュリティは？ ベスプラは？ 仕様が間違ってない？ ベストプラクティスって 知ってる？
13. 13 KDDI Agile Development Center Corporation 開発担当とは別のレビュー担当を作る レビューのためのAIエージェントが登場 Kiro AWS Continum (AWS Security Agent) 仕様通り作る セキュリティ観点専門 の レビューAI (仕様に依存しないレビュー) セキュリティ以外の観点を メインに人がレビュー セキュリティレビュー AIエージェント 作る時からレビュー 観点を意識する！ セキュリティ観点は 楽になった 開発ルール + 仕様
14. 14 KDDI Agile Development Center Corporation GitHubのイベント（プルリクエストなど）を契機にセキュリティレビュー 開発 PR作成! AWS Continum (AWS Security Agent) XSSの脆弱性 指摘・改善提案 セキュリティ専門レビュー 人の経験に頼らないレビューの実現 仕様通り動けば OKレビューで 見落とされた問題発見
15. 15 KDDI Agile Development Center Corporation DevOpsAgentによりより多層レビューが実現。より質の高いレビューを実現 複数の観点でレビュー、人のレビュー全般の負荷軽減 Kiro AWS Continum (AWS Security Agent) 仕様通り作る セキュリティ観点 レビュー 最終的なリリース判定 AWS DevOps Agent 組織独自の基準 や ベスプラによるレビュー 自動テストで評価 (リリース判定) New！ チョー楽！ レビュー テスト 基準 開発ルール + 仕様 専門AIによる多層レビュー 作るAI 最終承認する人
16. 16 KDDI Agile Development Center Corporation DevOpsAgentのレビューはベスプラと独自レビュー基準 SecurityAgentは問題なし ベストプラクティスなどを元にレビュー 問題の指摘と解決案の提案 ステータスでリリース判定 BLOCK： 　リリースを阻止すべき重大な問題 Deploy with Caution： 　リスクがあるが、致命的ではない問題 　気をつけてリリースしてね Safe to Release： 　重大な問題は検出されなかった 　リリースしてOK ログにパスワード 出てる指摘 （DevOpsが指摘）
17. 17 KDDI Agile Development Center Corporation プロジェクト独自の観点、組織としてのルールを定義可能 独自基準定義 例：tmp付きの関数は リリースNG 独自基準で PRに指摘 定義できるものの例 ・独自のレビュー観点 ・ビルド手順 ・テスト方法 ・品質ゲート(カバレッジ〇〇%など) 組織独自のレビューを設定可能
18. 18 KDDI Agile Development Center Corporation DevOpsAgent によるテストは「動的検証」 自動テストのみ = 機械的にテスト を実行するだけ 自動テスト + DevOpsAgent = テスト + 解決案立案 + テストの品質評価 開発 PR作成! テスト成功/失敗 エラー箇所特定 テストはできた。でも、 テストの品質 自体が 悪いかも 根本原因分析 解決案の提案 テスト自体の品質評価 不足テスト自動生成・実行 テストの品質評価 テスト不足の補完 問題の解決策まで提案 テスト成功/失敗 エラー箇所特定 修正指示 テスト 足りなくね？
19. 19 KDDI Agile Development Center Corporation DevOpsAgent による指摘の例：人が見落とした品質問題をカバー テスト対象外のコード変更でも 自動でテストを作成して検証 動的検証 人が設定した合格基準 なども 問題があれば指摘する
20. 20 KDDI Agile Development Center Corporation 開発もレビューもAIで自動化できるなら 人は何するの？
21. 21 KDDI Agile Development Center Corporation AIと一緒に振り返りやフィードバック共有は今後も必要 AWS DevOps Agent Kiro 開発ルールなど レビュー基準など 開発ルールを 明文化 製作過程を記録 （人にフィードバック） 成果物を元に 振り返り レビュー結果を元に 振り返り レビューやテスト仕様を明 文化 テスト・レビュー 過程を記録 （人にフィードバック） 人とAIが 共に学ぶ フィードバックループと人とAIのコラボレーション・ユニット ※Kiro Web はGitコメントも学習
22. 22 KDDI Agile Development Center Corporation AI同士の連携により問題発見から解決までAIに任せられる時代 Kiro Web AWS Continum (AWS Security Agent) AWS DevOpsAgent リリース承認、 フィードバック AWS DevOpsAgent テストもレビューも AIにお任せ インシデント監視 原因調査 GitHub 開発・Issue対応 GitHub 最後のリリース判定は人がやった方が良い（とされている） レビュー基準 開発ルール など 改善、フィードバック レビュー指摘 修正指示 リリース PR作成 PR検知 Issue発行検知 Issue発行 (AI Ready Spec) 最終判断 依頼
23. 23 KDDI Agile Development Center Corporation 最近のバズワード：「ループエンジアリング」って何？ ハリネズミさんの資料より： https://www.docswell.com/s/harinezumi/K3J9JJ-2026-07-10-202543#p30 人はプロンプトを書かない？AIが改善を続ける仕組みを作る？AI同士が協調すればループエンジニアリング？ ＜ループエンジニアリングの要素＞ ・反復性がある ・失敗の検知ができる ・エージェントが完結できる ・完成が客観的に定義できる
24. 24 KDDI Agile Development Center Corporation 2026年 は AIエージェント「構築」元年
25. 25 KDDI Agile Development Center Corporation 評価観点 プログラムコード AIエージェント 完全一致テスト 毎回同じ結果を返す。 確実に直せる修正方法がある。 毎回異なる出力。 単体テスト 単体化可能 複雑な推論チェーンは単体化不可 テストカバレッジ 計測可能 計測不可。判断の質が重要 課題：AIエージェントをどう評価すれば良いのか？ AWSって何か 簡潔に教えて クラウドのやつだよ これって良い回答 なのかな？ 要約エージェント ユーザー 改善担当
26. 26 KDDI Agile Development Center Corporation 評価観点 プログラムコード AIエージェント 完全一致テスト 毎回同じ結果を返す。 確実に直せる修正方法がある。 毎回異なる出力。 単体テスト 単体化可能 複雑な推論チェーンは単体化不可 テストカバレッジ 計測可能 計測不可。判断の質が重要 課題：従来のテスト手法ではAIエージェントの出力は評価できない? AWSって何か 簡潔に教えて クラウドのやつだよ これって良い回答 なのかな？ 要約エージェント 定量的評価できなくね？
27. 27 KDDI Agile Development Center Corporation AgentCore Evaluations などのサービスで自動評価可能 どの程度の役に立つ 回答だったか評価 A/Bテスト： どちらが役に立つか評価 プロンプトA の回答 プロンプトB の回答 スコア 0.5 スコア 0.8 プロンプトA の回答 Helpfulness スコア 0.5 評価設定： ユーザー視点でエージェントの応答が どれほど有用か評価する
28. 28 KDDI Agile Development Center Corporation AgentCore Evaluations などのサービスで自動評価可能 どの程度の役に立つ 回答だったか評価 A/Bテスト： どちらが役に立つか評価 プロンプトA の回答 プロンプトB の回答 スコア 0.5 スコア 0.8 プロンプトA の回答 Helpfulness スコア 0.5 評価設定： ユーザー視点でエージェントの応答が どれほど有用か評価する 直し方分からなくね？
29. 29 KDDI Agile Development Center Corporation AgentCore Optimizations により最適化可能 より良いスコアが出るプ ロンプトを提案 どのように変更すれば良 いか一目瞭然 AgentCoreOptimizerの推奨事項の出力例
30. 30 KDDI Agile Development Center Corporation クラウドサービスだけじゃない 「Agent Skills」を評価するサービス
31. 31 KDDI Agile Development Center Corporation SkillOpt（6/2~）: Skills を評価・最適化するツール Skill作成 ↓ (評価基準作成) ↓ 採点 (rollout) ↓ 失敗分析、 改善案作成 (refrect) ↓ 改善案マージ (merged, select, update) ↓ 再評価 採用/拒否 (evaluate gate) ↓ 処理するデータの 変化など GUIあり(localhost) パラメータ設定や 進捗確認が容易 評価して改善を 自動で実行
32. 32 KDDI Agile Development Center Corporation SkillOpt（6/2~）: Skills を評価・最適化するツール Skill作成 ↓ (評価基準作成) ↓ 採点 (rollout) ↓ 失敗分析、 改善案作成 (refrect) ↓ 改善案マージ (merged, select, update) ↓ 再評価、 採用/拒否 (evaluate gate) ↓ 処理するデータの 変化など GUIあり(localhost) パラメータ設定や 進捗確認が容易 評価して改善を 自動で実行 パラメータとか なんか難しそうやな
33. 33 KDDI Agile Development Center Corporation SkillOpt-Sleep: AIが利用履歴をレビューしてSkillが自己進化（プレビュー） Harvest（収集） ↓ Mine（抽出） ↓ Replay（再生） ↓ Consolidate（定着化） ↓ Stage proposal（提案） ↓ Adopt（適用） Claude CodeやCodexなどの日中の利用ログ（トランスクリプト）を収集 。 ユーザーが繰り返し行っているタスクや課題、フィードバックなどを抽出 。 オフライン環境でタスクを再実行・検証。 ログから反省点を見つけ出し（Reflect）、スキルを修正 した上で、 実際のテストタスクを使って性能が向上したか検証（Gate）する。 改善案をユーザーに提示 ユーザーが承認すれば、次の日から エージェントのスキルとして利用可能になる 日中動いて 寝てる間に成長 Skillの改善もループエンジニアリング
34. 34 KDDI Agile Development Center Corporation まとめ①：評価者としてのAIを取り入れることで人のレビュー負荷軽減 • AIによる開発スピードが上がるほど、後の工程に負担がかかる →1日に1つの成果物なら人が評価できるが、 100個の成果物は評価できない →「開発者」の AIと「評価者」の AI の協調により開発速度と品質保証が両立しやすい 生産するAI 評価するAI 最終確認する人 早くて質のよい成果物 誕生
35. 35 KDDI Agile Development Center Corporation まとめ②：人の役割はレビューではなく「基準づくり」や「仕組みづくり」に AIが担う 人間が担う コードレビュー・脅威モデリング・修正PR生成 レビュー基準・セキュリティポリシーの定義 テスト生成・自律実行・リリース判定 受け入れ基準・成功条件の定義 エージェント出力のスコアリング 評価基準・閾値の設計 基準と仕組みを定義する 複数のAIが協調する 評価結果などを元に 定義の改善
36. 36 KDDI Agile Development Center Corporation 新刊の紹介：MastraによるAIエージェント開発・運用［実践入門］ 著者 上田瀟逸，伊野瀬出，御田稔　著 定価 3,960円（本体3,600円＋税10%） 発売日 2026.7.6 判型 B5変形 頁数 464ページ スゲー技術書 出たらしいじゃん 品質 ◎
37. Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る