速くなった開発の効果をどう推し量るのか

JAWS-UG AI-DLC #03：AI-DLC勉強会 での登壇資料です。

Transcript

1. JAWS-UG AI-DLC #03 | 2026-11-09 速くなった開発を どう推し量るのか Paul Nobuo Okada Senior Solutions Architect Amazon Web Services Japan © 2026, Amazon Web © 2026, Services, Amazon Inc. or Web its Services, affiliates.Inc. All or rights its affiliates. reserved.All . rights reserved. .
2. Paul Nobuo Okada @bulbulpaul Solutions Architect [関⼼ある技術] Java, Kotlin, Python, Serverless, エンジニアリング, 釣り, おつまみ作り © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 2
3. AIを使った開発を どのように計測していますか？ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 3
4. 開発チームの中では正しい指標と事業につながったかは別 開発チームのスコープ 事業のスコープ 作業時間の短縮 売上？ AI 利用率、採用率 ? 解約率？ 生成コード行数、受諾率 成果や事業に つながったか Time to Value ？ 計測スコープとしては妥当 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 4
5. AI 採用が進むほど開発は速くなり、不安定さも増加 DORA 2024 DORA 2025 組織が使い方を学び活用は促進 スループットは 2025 年に正へ反転 → -1.5% -7.2% スループット 安定性 スループット 正へ反転 安定性は継続して下降 FAROS AI 2026 TELEMETRY ( AIの 活用チームの例） 2年連続でマイナス。「AI は増幅器」 5× 3× レビュー時間（中央値） インシデント / PR © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 安定性 マイナス継続 5
6. 開発時間は速くなったが全体のボトルネックがある場合 VALUE STREAM BEFORE → AFTER BEFORE 要件 コーディング 設計 レビュー テスト リリ ース 開発プロセス全体視点で見る PR の山 → AFTER AI 要件 設計 コーディ ング レビュー テスト マクロではほぼ変わらずに、コーディングが縮んだ分が 次工程に滞留するケース DORA 2026/3: 見つける為には Value Stream Mapping, SPACE, SEQ等を活用が一手 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . リ リ ー ス 課題がどこにあるのか なにを計測するのか 改善や成長につながるポイントを 捉える事が重要 6
7. Value Stream Mapping: 価値を届けるまでの時間を可視化 VALUE STREAM MAP 例: 1 フィーチャーが本番に届くまで 要件 90% 作業 1日 設計 85% 作業 1日 待ち 2日 実装 60% 作業 2日 待ち 1日 レビュー 70% 作業 0.5日 待ち 0.5日 リードタイム 18.5日 = 作業 6日 + 待ち 12.5日 QA 作業 1日 待ち 4日 リリース 作業 0.5日 待ち 3日 待ち 2日 「開発のスピード」 ってどこですか？ フロー効率 32% 3 つの数字読み解く 作業時間 実際の作業時間 待ち時間 待ち時間、e.g. レビュー待ち、QA待ち等 手戻り率 前工程の成果物を、後工程がやり直しなしで使えた割合 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 7
8. どういった成果に対して 開発が有効に機能しているかをみる © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 8
9. 直接的な数値だけでなく、繋がる成果とのつながりをみる IMPACT MAPPING Goal 遅行指標 LOGIC MODEL L3 Business Impact 売上、解約率、time-to-value 仮説② 行動がゴールに寄与する Impact 代理指標 / 先行指標 L2 Proxy Impact 試行数、手戻り、リードタイム 仮説① 成果物が行動を変える Deliverable AI採用 / adoption L1 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . System Output 受諾率、生成行数、レイテンシ 9
10. Impact Mapping: 直接的な数値だけでなく、繋がる成果とのつながりを観る 成果物と目的の間に「誰の、どの行動が変わるか」を観る（以下は例） WHY 目的 （L3） WHO 誰 HOW 行動の変化 （L2 代理指標） WHAT 成果物 （L1 システム指標） 小さい Intent を多く本番へ → 本番到達 Intent 数 / 月 ↑（打席数） AI-DLC で生成された コードと成果物 開発チーム 新機能の time-to-value 短縮 変更失敗による損失の抑制 レビューで差し戻されない → GATE_REJECTED 率 ↓（手戻り） 着手から本番までの時間が短 い 例: 月次エクスポート完了率 92→99% を 1 四半期早く → Intent リードタイム ↓（ リードタイム） e.g. → 受諾率 → 生成行数 → センサー通過率 （Lint / 型 / テスト） → 生成レイテンシ etc… プロダクト オーナー 仕様を先に固めてから作る → Plan Approval 承認率 ↑ （手戻り） 仮説② 開発者の行動の変化がゴールに寄与する 仮説① AI の出力が開発者の行動を変える → Intent の Success metric と仮説命中率で検証 → L1 と L2 を監査ログで結合して検証。量と質はペアで持つ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 10
11. 指標を動かすAIの要因を仕組みにする = workflow v2 指標を動かす要因 AI が増幅する方向（Faros 2026 Q3） AI-DLC v2 の仕組み（一例） 手順のばらつき・重さ LLM 任せの手順、小修正にも重い手順 決定論エンジン。11 スコープ × 深さ 3 エージェントの文脈理解 文脈不足のやり直し +66.7% Intent Capture。knowledge/ codekb/ ルール バッチサイズ PR サイズ +71.8% Unit 分割。1 Unit = 1 PR 検証の位置（前か後か） QA 滞留 +300%、検証税は後ろへ Plan Approval。ステージ毎の承認ゲート レビューの網羅率 レビューなしマージ +76.3% Guard Policy strict。source-bound receipts 完了判定の主体 自己申告の「完了」 6 種センサー（決定論）。検証コマンド AIの非決定性や安定性に対してチーム内のルールで守っていたものを workflow の仕組みや設定を活用。 Mob Elaboration や AI-DLC のダイナミックなコラボレーションでの手戻り抑制にもつなげる。 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 11
12. 手順を固定して測れる状態にする 仕組みの例 1: INTENT = 1 ブランチ、1 UNIT = 1 PR intent/260912-export-timeout ├ Unit 1 タイムアウト値の設定化 │ → PR #101 450 行 → ゲート → Accept ├ Unit 2 ジョブの分割実行 │ → PR #102 300 行 → ゲート → Accept └ Unit 3 失敗率メトリクスの追加 → PR #103 120 行 → ゲート → Accept 仕組みの例 ２: 制御点としての workflow v2 の決定論エンジン aidlcstate.md + stagegraph.json engine (TypeScript) directive (JSON 1 件) conductor (LLM が実行) LLM に手順を任せると、同じ Intent でも毎回手順が違う 測定ではノイズ、運用では不安定性の増幅になる 従来: 同じ変更が 1 PR 1,500 行 Faros 2026 Q3: PR サイズ +71.8% 小さいPRはルールだけはなく、Unit という仕組み → Unit の行数と Accept もログに残る © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . エンジンが決定論で動くことで、固定された条件に 前後で動いた数字は、手順の揺れではなく、変更内容と設定の違い に帰属できる
13. 直接的な数値だけでなく、繋がる成果とのつながりをみる IMPACT MAPPING Goal 遅行指標 LOGIC MODEL L3 AI-DLC V2 での関連要 (例) Business Impact Intent の記録 売上、解約率、time-to-value （Intent Capture / Plan Approval） 仮説② 行動がゴールに寄与する Impact DORA 指標 + 先行指標 L2 Proxy Impact 試行数、手戻り、リードタイム 監査ログ 仮説① 成果物が行動を変える Deliverable AI 採用（adoption） L1 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . System Output 受諾率、生成行数、レイテンシ ハーネスのテレメトリ 13
14. たとえば）どの指標をどの状態を目指すのかを Intent に書かせる INTENT CAPTURE 成果物 ## Intent 在庫 API のエクスポートのタイムアウトを修正する たとえば、、 仮説の検証精度 期待方向に動いた Intent 数 ## Success metric ← 追加する節 - L3 指標 : 大口顧客の月次エクスポート完了率 - 期待方向: 92% → 99% 以上 - 観測時期: リリース後 4 週 - 観測手段: 業務ログ export_job.status 観測期間を過ぎた Intent 数 = deribari- したフィーチャーのうち売上を増やす割合 = Impact Mapping の仮説②を、毎 Intent で検証 実装例（AI-DLC v2）: スコープによって 2 種類 ① Ideation を走るスコープ（feature / mvp / poc / enterprise）: Intent Capture は元から success metrics を聞く。 ② Ideation を飛ばすスコープ（bugfix / express など）: Plan Approval の手前に required-sections 型センサー（blocking）。 無ければゲートが進まない仕組みへ。書けない Intent は内部 L2 指標で代替し、その事実を記録する。 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 14
15. 指標の前にワークフロー自体が適切に使われているか確かめる ワークフロー健全性の指標（監査ログから） v2 ならでは 問い イベント 赤信号の読み方 スコープ提案は当たって いるか SCOPE_DETECTED → SCOPE_CHANGED 人が提案を変える率が高い = 自動検 出が合っていない 承認が形骸化していない か STAGE_AWAITING_APPROVAL → GATE_APPROVED の時間差 数秒で承認が続く = 読まずに押して いる 人は判断しているか DECISION_RECORDED の Recommended 選択率 推奨をほぼ全部選ぶ = 受け身の監督 どこで手戻るか GATE_REJECTED / STAGE_REVISING の ステージ分布 Construction で止まる比率が高い = 上流が固まっていない ガードは守られているか GUARD_DISABLED, PLAN_APPROVAL_OVERRIDDEN, CHANGE_ACCEPTED 無効化の頻度と、誰が（Git Name） 切っているか # JSON出力 aidlc engine audit history --stage <slug> 組織は学んでいるか RULE_LEARNED, SENSOR_PROPOSED ルール化ゼロが続く = 訂正が次に効 いていない # 質問と回答の対応 aidlc engine log answers 文脈は持ちこたえている か SESSION_COMPACTED / Intent, ERROR_LOGGED 1 Intent に圧縮が何度も = Intent が 大きすぎる 時刻差（待ち時間）、人の選択（推奨を 選んだか）、誰が承認したか（Git Name ）が構造化されて残る。 runtime-graph.json で計画と実行のずれ も見える 出力コマンド 成果の指標（L2）と、仕組みの健全性指標は別物。 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 15
16. DORA の ROI 式に、監査ログの数字を入れる DORA ROI OF AI-ASSISTED SOFTWARE DEVELOPMENT 2026 DORA サンプル（500 FTE） ROI = ( Value − Investment ) ÷ Investment Value = 再投資できる工数 + 追加フィーチャーの売上 − 不安定性の税（instability tax） 39% 0.7 年 Investment = ツール・教育 + J カーブの学費（サンプル: 15% × 3 ヶ月） 1 年目 ROI 回収期間 −$344k 不安定性の税（CFR 5%→6%） 計算機の入力（DORA サンプル値） 監査ログから入れる数字 Net time saved / dev（12.5%） Intent リードタイム前後差 − STAGE_REVISING Target features / 年（50 → 56） WORKFLOW_COMPLETED / 月 Target CFR（5% → 6%） 本番 CFR, SENSOR_FAILED, GATE_REJECTED Idea success rate（33%） 仮説の検証精度（Intent の Success metric） J-Curve drop（15%, 3 ヶ月） 導入月のリードタイムの落ち込み © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . プロキシを本物に保つ 3 つ 束ねる L2 を 1 本に絞らない（サロゲート・イ ンデックス） 比べる 設定値で比べる: strict と relaxed、スコ ープ別 結び直す 半年ごとに L2 → L3 を再検証（ Prentice）
17. まとめ 速さだけ計測するのではなく、安定性や事業への仮説効果を観測する まずは自分達のボトルネックや効果ポイントを知る • • 成果にリンクする適切な効果指標やインパクトの要素を設計する • • • VSM, SPACE, SEQ 等を活用して可視化や計測 レイヤー別のインパクト設計 AI の不確実性や安定性の制御の仕組みとしての workflow の活用 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 17
18. 出典 • DORA 2025, State of AI-assisted Software Development — https://cloud.google.com/blog/products/ai-machinelearning/announcing-the-2025-dora-report • DORA AI Capabilities Model — https://cloud.google.com/blog/products/ai-machine-learning/from-adoption-to-impact-putting-thedora-ai-capabilities-model-to-work • DORA insight, Balancing AI tensions (2026-03) — https://dora.dev/insights/balancing-ai-tensions/ • DORA, The ROI of AI-assisted Software Development (v2026.1) + ROI calculator — https://dora.dev/ai/roi/calculator • Faros AI 2026, The Acceleration Whiplash — https://faros.ai/research/ai-acceleration-whiplash • METR 2025, Early-2025 AI on Experienced Open-Source Developer Productivity — https://metr.org • METR 2026-02-24, We are Changing our Developer Productivity Experiment Design — https://metr.org/blog/2026-02-24-upliftupdate/ • Ziegler et al. 2022, Productivity Assessment of Neural Code Completion — https://arxiv.org/abs/2205.06537 • Forsgren et al. 2021, The SPACE of Developer Productivity — ACM Queue 19(1) • Brynjolfsson, Rock & Syverson, The Productivity J-Curve — NBER w25148 • Athey, Chetty, Imbens & Kang 2019, The Surrogate Index — NBER w26463 • Prentice 1989, Surrogate endpoints in clinical trials — Statistics in Medicine 8(4) • Adzic, Impact Mapping — https://impactmapping.org • watilde 2026, AI の ROI をどう証明するか: プロキシーインパクト設計 — https://watilde.wordpress.com • awslabs/aidlc-workflows, State Tracking and Audit Trail — https://awslabs.github.io/aidlc-workflows/guide/10-state-and-audit/ • AWS Japan, AI-DLC Workflows 2.0 とは何か — https://zenn.dev/aws_japan/articles/aidlc-workflows-v2-harness-engineering © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . 18
19. Thank you! Paul Nobuo Okada Amazon Web Services Japan © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. . © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. .