AI活用の現在地、 ちゃんと見えてますか？/XPfest-2026

2026年9月5日開催の「XP祭り2026」の登壇資料です。
https://xpjug.github.io/xp2026.html

▼関連資料
AI駆動開発が変える、大規模開発の前提 ーHuman in the Loop から Human on the Loop へ
https://speakerdeck.com/visional_engineering_and_design/aie2026

リアーキテクティングのその先へ 〜品質と開発生産性の壁を越えるプラットフォーム戦略〜
https://speakerdeck.com/visional_engineering_and_design/architecture-con2025

ビズリーチが挑む メトリクスを活用した技術的負債の解消
https://speakerdeck.com/visional_engineering_and_design/dev-productivity-con2025

ビズリーチにおけるリアーキテクティング実践事例
https://speakerdeck.com/visional_engineering_and_design/jjug-ccc-2025-spring

-----
Visionalのエンジニアリングに関する最新情報はTwitter、ブログで発信しています！📣

▼Visional Engineering Blog
https://engineering.visional.inc/blog/

▼VISIONAL ENGINEERING Twitter
https://twitter.com/VISIONAL_ENG

Transcript

1. AI活用の現在地、 ちゃんと見えてますか？ ビズリーチのAI活用ダッシュボードづくり XP祭り 2026, 2026/9/5 株式会社ビズリーチ プロダクト本部 プラットフォーム統括部ビズリーチプラットフォーム部 SODA推進グループ 外山大 1
2. 自己紹介 外山 大 Dai Toyama 経歴 • SIerでキャリアをスタートし、エンジニア -> EMを経験 • 2016年、合同会社DMM.comに転職。EMとして海外向けサイト、家事代 行サービス立ち上げ、モバイル事業、豊洲のデジタルアートPRJなどを経験 • 2021年、建設DXを推進する株式会社アンドパッドにジョイン。EM、組織開 発部長などを務める • 2023年、「SODA構想」に共感して株式会社ビズリーチにジョイン 趣味 スノーボード、ロックフェス、キックボクシング 2
3. 株式会社ビズリーチ サービス一覧 即戦力人材と企業をつなぐ 転職サイト 社内スカウトで 人材流出を防ぐ OB/OG訪問 ネットワークサービス 人財活用システム 採用管理システム 勤怠管理システム 経費精算システム 労務・給与システム メンバーの即戦力化を支援し マネジメントを変革する 3
4. SODAとは・・・ 開発組織を取り巻く様々な状況をメトリクスとして可視化し、それを元に意思決定をしていくフレームワーク 4
5. SODA Journey 2023-6-14 Developer eXperience Day 2023 2023-1-11 Regional Scrum Gathering Tokyo 2023 2023-4-18 DevOpsDaysTokyo 2023 https://speakerdeck.com/visional_engineering_and_design/number-rsgt2 023 https://speakerdeck.com/visional_engineering_and_design/devopsdaystokyo-20 23 2024-3-14 JaSST'24 Tokyo 2024-6-29 開発生産性Conference 2024 2025-7-14 開発生産性Conference 2025 https://speakerdeck.com/visional_engineering_and_design/jasst24-tokyo https://speakerdeck.com/visional_engineering_and_design/dev-productivity-con2 024 https://speakerdeck.com/visional_engineering_and_design/dev-productivity-con2 025 https://speakerdeck.com/visional_engineering_and_design/developer-experienc e-day-2023 5
6. AI時代の振り返り、どうしてますか？ 振り返りの問い 使ってる、だけでなく 次に試すことまで話せていますか？ どれくらい 使った？ → 開発はどう 変わった？ → 次に何を 試す？ AI活用も、観測 → 振り返り → 改善を繰り返す高速学習 6
7. AI活用は、開発組織全体に広がっている 一部の先進チームだけの話ではありません Claude Code Codex GitHub Copilot 開発組織全体 AIを使うこと自体は、すでに大前提 7
8. でも、現在地は一つではない ツール活用 HITL AIネイティブ / HOTL 特定の工程を AIで効率化する AIの提案を 人が確認しながら進める AIが開発ループを担い 人が外から監督する AIネイティブなコードも、10年以上のコードもある。任せる範囲は均一ではない 8
9. HITL（Human in the Loop）という構造 人が開発ループの中にいて、判断点ごとに確認する 出典：外山英幸「AI駆動開発が変える、大規模開発の前提」、 AI Engineering Summit Tokyo 2026 9
10. HOTL（Human on the Loop）という構造 AIが開発ループを担い、人は外から監督し、プロダクトを方向付ける 出典：外山英幸「AI駆動開発が変える、大規模開発の前提」p.10、AI Engineering Summit Tokyo 2026 10
11. 利用量だけでは、現在地は見えない コードベースやミッションが違えば、同じ利用量でも意味は変わる AI利用 Token / Credit Model / MCP / Skill / Agent ＋ 開発活動 ＋ PR / Commit / 変更行数 Lead time / Review 信頼性 障害混入率 / 手戻り 品質 / レビュー負荷 つないで見ると、チームの現在地が少し立体的になる 11
12. ダッシュボード 現在地を見る ダッシュボード 12
13. GitHub Activity：アクティビティ概況 マージ済みPR リードタイム 変更行数 AI利用と、同じ期間で並べる 13
14. GitHub Activity：リードタイム分析 Commit → PR PR → Review Review → Approved Approved → Merge 工程ごとに分解して見る 14
15. アウトプット量から、AIの使い方へ GitHub Activity Claude Code Codex PR / Lead time / Review PR / Commit / Token Token / Credit / Model 15
16. MCP / Skill / Agent：活用状況を見る MCP Skill Agent 何が、誰に、どれくらい使われて いるか 16
17. Token / Credit：利用量から、利用効率へ 消費量 利用実績 利用効率 Token / Credit PR / Commit / 実行回数 成果あたりの消費 17
18. まずは、取れるものをかき集めた PC / Server、Claude Code / Codex / GitHubで、観測できるものは違う Claude Code Codex GitHub 収集 収集 収集 PC / CLI から OTel PC / CLI から OTel Server から Analytics API Server から GraphQL API 見えるもの 見えるもの 見えるもの Token / PR / Commit MCP / Skill / Agent Token / MCP / Skill / Agent Credit / 利用実績 PR / Review / Lead time 取れるものをかき集める BigQueryでつなぐ 何が改善に有用かを探る 最初から共通指標を決めない 同じ時間軸・粒度で並べる ダッシュボードで現場と確かめる 18
19. GCP上に、収集経路ごとのパイプラインを組む Google Cloud Platform OTel | PC / CLI Claude Code / Codex PC / CLI・OTel Cloud Armor Load Balancing Cloud Run OTel Collector Monitoring Logging Cloud Functions ETL BigQuery Looker Studio Server API Codex / GitHub Analytics API / GraphQL Cloud Scheduler Cloud Run Jobs data：Cloud Functions / GCS / Trocco / dbt infra：Terraform / Artifact Registry / IAM 計測設定の配布・欠損監視まで含めて、計測基盤として運用する 19
20. 速く・多く、だけでは足りない マージ済みPR数 変更行数 2.2倍 4.1倍 PRリードタイム 中央値 障害混入率 17.31h → 1.41h 0.61% → 0.41% FY26 Q2（2025/11–2026/1）と FY26 Q4（2026/5–7）の比較 20
21. 速さ・信頼性・経済性を、セットで見る スピード・量 信頼性 PR数 / 変更行数 リードタイム 障害混入率 / 手戻り レビュー負荷 持続可能な AI活用 経済性 Token / Credit消費効率 成果あたり / 継続可能性 一つだけを最適化しない。三つを行き来し、現場で因果を確かめる 21
22. 数字から、チームの会話へ ダッシュボードは答えではなく、現場に持ち込む問いをつくる 開発活動 経済性 AIの使い方 リードタイムの変化を チームで読み解く Credit利用効率のよい 人から学ぶ Championの実践を チームへ広げる 見る Review → Approved 見る Credit利用効率 見る Championを発見 聞く 新メンバーの加入 聞く 具体的な使い方 聞く 実際の使い方 試す 対面ですり合わせ 学ぶ 使い方の工夫 広げる Skill / Agentの知見 ダッシュボードが問いをつくり、チームが仮説と次の一手をつくる 22
23. これから 今後めざしていること 23
24. これから、Human on the Loopを目指す AIが開発ループを担い、人は外から監督し、プロダクトを方向付ける 出典：外山英幸「AI駆動開発が変える、大規模開発の前提」p.10、AI Engineering Summit Tokyo 2026 24
25. HOTLへの移行に、何が必要か 自律性だけでなく、AIの開発プロセスとループの状態まで観測したい HITL HOTL 人が各工程で承認し ループの中で判断する AIが開発ループを担い 人は外から監督し、プロダクトを方向 付ける 次に可視化したいもの AIの自律性・開発プロセス・ループの状態 実行経路・自律修正・詰まり・再試行・人の介入を捉え、人が監督できる状態にする 25
26. AIに、自分のプロセスを振り返らせる AIに任せるほど、開発プロセスとループの状態を人が監督できることが重要 1 観測 2 振り返り OTelで実行イベントを記録 詰まり・再試行・失敗を分析 AI開発ループ 4 自律改善 3 改善案 AIが改善をループ内に反映 モデル・ツール・ルール・実行経路 人が監督できる状態 介入・境界・停止条件を更新 人はループを監督し、プロダクトの方向性を決める 26
27. AIの開発ループで、何が起きたかを記録する ループ内のイベントを残し、AIと人の振り返りに使う 観測単位 メトリクス例 ループ全体 時間・反復・停止 実行経路 モデル・ツール・ルール 自律修正 失敗・修正・再発 人の介入 契機・箇所・結果 さらに先では、成果への貢献や信頼性も観測の候補に 成果への貢献 KPI・向上・寄与 信頼性 SLO・抵触・発動 記録を、AIと人の振り返りにつなげる モデル・ツール・ルールと、人の介入方法を見直す 27 25
28. チームとAIが振り返り、次の改善を選べる土台へ 観測 → 振り返り → 次に試すこと これまで チームが振り返る これから AIも振り返る 振り返りは、成績をつけるためではなく 次に試すことを選ぶため 28
29. BlogとXで発信中！ Visionalグループで働くエンジニアの技術的な取り組みや、イベント・登壇情報などをお届けします。 Blog https://engineering.visional.inc /blog/ X @VISIONAL_ENG 29