AIツールは本当に効くのか? Findyで検証するQodo Merge導入効果

■ イベント
生成AI活用のROI、どう測る？ Sansan Bill One 開発チームから学ぶ「AI効果検証のノウハウ」
https://techplay.jp/event/985186

■ 発表者
技術本部 Bill One Engineering Unit Core Business APグループ
小木 大嗣

■ Bill One エンジニア 採用情報
https://media.sansan-engineering.com/billone-engineer

Transcript

1. AIツールは本当に効くのか? Findyで検証するQodo Merge導入効果 Bill One Engineering Unit 小木 大嗣
2. 会社概要 1 本社 神山ラボ Sansan Innovation Lab 社 名 Sansan株式会社 所在地 本社 東京都渋谷区桜丘町1-1 渋谷サクラステージ 28F グループ 会社 Sansan Global Pte. Ltd.（シンガポール） Sansan Global Development Center, Inc.（フィリピン） Sansan Global (Thailand) Co., Ltd.（タイ） ログミー株式会社 株式会社ダイヤモンド企業情報編集社 ナインアウト株式会社 株式会社言語理解研究所 従業員数 1,961名（2025年5月31日時点） 2007年6月11日 設 立 支店：関西支店、福岡支店、中部支店 サテライトオフィス：Sansan神山ラボ、Sansan Innovation Lab、 Sansan長岡ラボ 拠 点 寺田 親弘 代表者
3. 小木 大嗣 Sansan株式会社 技術本部 Bill One Engineering Unit 普通のエンジニアです AI駆動開発ギルドのギルドマスターをやっています > BillOneではメインのタスク以外を行う時に有志を集めて横串チ ームを作る時があります。誰でもチームを作ったり、チームに入 ったりできます。それがギルドです
4. 今日お話すること - 導入背景と課題 - Findy Team+を使った定量検証 - 現場で起きた定性的変化 - 今後の展望と期待
5. 導入背景と課題
6. 導入背景 - BOEUが最初に導入したAIツール : PR-Agent(現Qodo Merge) > 検討開始2024-06 から BOEU組織導入が2024-09 > Devin/Cline が日本で有名になる2025年初頭や春頃より前の “先行導入” - 組織目標「開発効率向上」に AIレビューが有効と判断 > Findyを有効活用した定量分析が活躍
7. 導入時の課題 - 効果を示せずROI不明 導入打ち切りリスク - リードタイム短縮などの効果が「感覚」ベースで議論が止まりがち - 組織貢献を説明できずに説得力ゼロ > 月額XXX万円使うのに「たぶん効果ある気がします！」で予算が通るは ずもなく
8. 業界共通の悩み - 投資対効果の可視化は死活問題 - データがない 運用停止... はよくありがち - 確かな数字が継続的なAI活用の命綱
9. Findy Team+を使った定量検証
10. Findy Team+での検証方針 - PR データからAI レビュー付きPR を抽出 - バックエンド/フロントエンド両者が対象 - Before/After 比較で効果を測定
11. データの可視化と整形 - サイクルタイム分析ページで全体の改善傾向をチェック - PR一覧をエクスポート クレンジング 詳細な統計分析へ
12. 分析手法 - 四分位範囲(IQR)で外れ値除去 - 平均・標準偏差を算出 - t 検定 + Bonferroni 補正で有意差を確認 - スループット = 1 時間あたりの PR 数として算出
13. Before / After 数値比較 (本格導入後6ヶ月) 指標 Before (h) After (h) p-value コミット→オープン 24.77 16.28 0.005 オープン→レビュー 10.34 6.59 0.000 レビュー→承認 15.43 8.14 0.000 承認→マージ 9.54 5.39 0.000 オープン→マージ 35.67 19.62 0.000
14. 数字が示すインパクト - リードタイム 45% 短縮 - スループット 82% 向上 感覚ではなく データ で「効いた」と証明！
15. 数字が示すインパクト(ROI) - 年間削減コスト 34,830,000 円 - 年間ROI 545%
16. 現場で起きた定性的変化
17. 定性的効果 – 学習と未然防止 - ​​AI 指摘が後日の障害原因と一致 未然防止 - 指摘をナレッジ化 学習ベース に蓄積 - 「レビュー観点が増えた」「ケアレスミスを指摘してくれて安心感が ある」という現場の声
18. レビューフローと文化の変化 - ​​AIによる 1次レビュー 人による判断 フローが標準化 > 分業によりレビュー漏れ・偏りを削減 - レビュー文化がボトムアップでアップデート
19. 今後の展望と期待
20. 今後の展望 AI レビューを 品質保証装置 へ進化 - インシデント ⇔ テスト ⇔ AIレビューの 再帰ループ 構築による継続的 な品質改善 - 障害後のポストモーテムでAIレビューのカバレッジ計測 & 改善
21. Findy Team+ への期待 - 分析自動化・精度向上（レビュー密度 / 異常検出） > レビュー密度や経過時間からのAI効果推定 > 異常レビューの自動検出（短すぎる承認、レビュアー偏り など） - レビュー文化のメタ分析支援 > AIレビューの観点や頻度、カテゴリの可視化 > チーム内でどう使われ、どこが無視されがちかといった傾向可視化
22. まとめ あなたのチームは AI をどう活用しますか？ AI と共に開発組織の文化を育てていきましょう！ AIレビューは 道具 文化 から へ
23. 参考リンク Vol. 05【Qodo Merge（旧PR-Agent）】Bill OneでのAI コードレビューの取り組みと得られた結果 https://buildersbox.corp-sansan.com/entry/2024/12/11/000000 リードタイム45%短縮・スループット82%向上。 SansanがFindy Team+で証明した 「AIレビューの投資対効果」 https://jp.findy-team.io/blog/ai-casestudy/ai_effectiveness_verification_sansan/
24. Sansan 技術本部 募集ポジション紹介 https://media.sansan-engineering.com/