「速くなった気がする」をデータで疑う

https://jp.findy-team.io/event/live/aidd_org_optimization_260324/
2026/03/24 AI駆動開発の最前線 個人最適から組織最適への変革 AI活用における「感覚値」からの脱却にて登壇した資料になります

Transcript

1. Copyright © SMat, Inc. All Rights Reserved Confidential 「速くなった気がする」をデータ で疑う AI駆動開発の最前線 個人最適から組織最適への変革 個人のAI活用から、チームの環境設計へ Ryusei Semba
2. Copyright © SMat, Inc. All Rights Reserved Confidential 自己紹介 名前 : 仙葉 隆聖(せんば りゅうせい) 会社 : 株式会社エスマット 役割 : Engineering Manager 業務 • 開発組織マネジメント • プロダクト開発 趣味 : 葉っぱを育てる https://x.com/senleaf24
3. Copyright © SMat, Inc. All Rights Reserved Confidential 私たちの歩み — 3つのステップ エスマットの経験を3段階に整理しました Lv.1 個人試行 各自がAIツールを試す ▶ Lv.2 組織標準化 Skills・品質基準を チームで整備する ▶ Lv.3 AI主体開発 AIが自律的に動く 環境を設計する 経験した いまここ（始めたところ） 目指す先 Lv.1→Lv.2に進むきっかけはTeam+でデータを見て課題に気づいた こと 「速くなった気がする」が感覚値だと分かった瞬間から、組織として動く必要性が見えた
4. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.1 個人試行 各自がAIツールを試す ▶ Lv.2 組織標準化 Skills・品質基準を チームで整備する ▶ Lv.3 AI主体開発 AIが自律的に動く 環境を設計する
5. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.1 AIツールの試行と収束 各自がAIを試した結果、Claude中心に収束 2025年: 試行錯誤 → 2026年: Claude中心に収束 ・コンテキスト理解や自走力の高さ ・SkillsやHooksなど周辺機能の整備しやすさ ・実運用で扱いやすかった → 意図的に選んだというより、自然と収束した 当時の失敗 ツールが乱立し、人によって使うツールも使い方もバラバラ。 「AIで速くなった」と皆が言うが、本当に速くなったのか？ → Team+で確かめてみることに
6. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.1 -> Lv.2 Team+で気づいたこと 「速くなった気がする」は本当か？ PR数は確実に増えた 4,707件 年間PR数（+127%） コードを書く速度は確実に上がった しかしレビュー待ちが急増 ↓悪化 +164%↓ +229%↓ 最初のレビューまで 5.8h → 15.3h レビュー→アプルーブ 0.7h → 2.3h ※前期間との同等期間比較（Team+チーム詳細より） PR数は2,072→4,707件と2倍以上に。しかし最初のレビューまでの時間は悪化傾向に 「速く書ける」と「速くリリースできる」は別物だった
7. Copyright © SMat, Inc. All Rights Reserved Confidential ボトルネックはどこか？ Team+ サイクルタイム分析（マンスリー） サイクルタイムの36%が オープン→レビューに集中 コミット→オープン 4.5h (31%) オープン→レビュー 5.2h (36%) レビュー→アプルーブ 2.3h (16%) アプルーブ→マージ 2.5h (17%) → ボトルネック = レビュープロセス
8. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.1 個人試行 各自がAIツールを試す ▶ Lv.2 組織標準化 Skills・品質基準を チームで整備する ▶ Lv.3 AI主体開発 AIが自律的に動く 環境を設計する
9. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.2 個人戦から組織戦へ 個人のAI活用を、チームの財産にする → 個人の工夫をテンプレート化し、組織の仕組みに変える ❶ ルールを定義する AIがやっていいことと悪いことを明文化する • CLAUDE.mdに行動ルールを記載 「テーブル定義を直接変更せず、マイグレーションを作 成する」等 • ADRの習慣化を開始 設計判断の経緯を AIにも渡せる形で記録 ❷ 知識を渡す プロジェクト固有の知識を AIに共有する • Skillsで開発パターンをカプセル化・横展開 • 「何を作るか」の合意形成をAIに渡せる状態に • データ項目とスキーマの構造化を推進
10. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.2 品質をどう担保するか AI生成コードの信頼性を組織で定義する → 品質基準があってはじめて、 AIへの委任範囲を広げられる ❸ 検証フローの標準化 AI生成コードの品質チェックを統一 • ファイル保存のたびにリンターを実行 • 違反があればAIに修正指示を自動で返す • 人間がレビューする前に機械的にチェック • レビュー負荷の軽減にも直結 ❹ 品質基準の明文化 どこまでAIの判断を信用できるのか？ • AIに任せていい範囲を明確に定義 • スループットの向上をKPIに • 平均障害率・修復時間で品質を計測 • 基準がないと「速くなったが壊れやすい」に
11. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.2 エスマットの現在地 進行中 ルール定義 CLAUDE.md整備、ADR習慣化 進行中 知識共有 Skills横展開、スキーマ構造化 進行中 検証フロー リンター自動実行の仕組み構築 これから 品質基準 障害率・修復時間の KPI定義
12. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.1 個人試行 各自がAIツールを試す ▶ Lv.2 組織標準化 Skills・品質基準を チームで整備する ▶ Lv.3 AI主体開発 AIが自律的に動く 環境を設計する
13. Copyright © SMat, Inc. All Rights Reserved Confidential Lv.3 なぜ環境設計が必要か 組織標準化を進める中で見えてきた次の課題 同じモデルでも、環境の設計だけで成果が倍近く変わることが各社の実践で明らかになっている。 テンプレートや品質基準を整えても、 AIが出すコードの品質はハーネス（実行環境）次第で大きく変わる。 各社の実証データ OpenAI (2026/02) 100万行のコードを 人間の手書き 0行で構築 Sayash Kapoor / HAL Benchmark (2025) 同一モデルでハーネスだけ変えて コーディングベンチマーク 42%→78% Microsoft (2026/03) Azure SRE Agent タスク達成率 45%→75% Kief Morris on martinfowler.com (2026/03) 「in the loop」（成果物を検査） →「on the loop」（ハーネスを改善） へ Anthropic (2025/11) 長時間エージェントのハーネス設計パターンを公式ガイドとして 公開 → モデルを変えるより、環境を整える方が効果が大きい。では具体的に何を整えるか？ 参考：OpenAI "Harness engineering" / Nate B Jones "Same Model, 78% vs 42%" / Microsoft "Azure SRE Agent" / M.Fowler "Humans and Agents in SE Loops" / Anthropic "Effective Harnesses"
14. Copyright © SMat, Inc. All Rights Reserved Confidential エスマットが目指す先 「正しいコードを書く」から「正しいコードが生まれる環境を設計する」へ 自動で検証する AIの出力を人間が見る前に機械的にチェック • 目標は「PRで終わらないループ構築」 • 複数リポジトリ横断でE2Eテストまで自動化 • CI/CDパイプラインとAIの統合 • テスト失敗→AIが修正→再テストのサイクル 人間が監督する AIに任せきりにせず、要所で人間が判断 • コードの正しさのレビューには極力介在しない • 人間は「より価値のあるものは何か」に集中 • in the loop → on the loopへの移行 • セキュリティ変更は必ず人間が確認
15. Copyright © SMat, Inc. All Rights Reserved Confidential まとめ ・「速くなった気がする」はデータで見る と違った ・個人最適には限界がある ・環境整備は一人ではできない 現在地 Lv.2 組織標準化を始めたところ Skills共通化、品質基準の整備に着手 まだ道半ば これから ・チーム戦 でハーネスを整える ・エンジニアの役割を再定義する ・コーディング担当から、開発の設計 者へ Lv.1 個人試行 ✓ ▶ Lv.2 組織標準化 ← いまここ ▶ Lv.3 AI主体開発 → 目指す先 見えてきたこと
16. Copyright © SMat, Inc. All Rights Reserved Confidential