Share
Embed
CodeRabbitの効果検証と過ごしてみた3ヶ月
CodeRabbitを組織に導入するために実施した効果検証と、導入したチームの変化について
armondando
September 17, 2026
Transcript
28 slides
-
CodeRabbit User Group Tokyo #4 CodeRabbitの効果検証と 過ごしてみた3ヶ月 株式会社ウェイブ 技術推進部 渡邉
プロダクトエンジニアリング部 安藤 1 -
スケジュール:検証期間2ヶ月。中間と最終で2回計測。 4 2〜4 12 12 チーム 名 / チーム 名
リポジトリ 3/1 検証開始 4/1 中間報告 5/1 最終報告 検証前 中間 最終 2月 3月 4月 CodeRabbitをできるだけ効果的に使った状態で計測したい CodeRabbitはユーザーとのやり取りを学習したり、設定を変えることで育っていってレビュー 指摘の質が変わる 中間報告で、計測結果をチームにフィードバックして、CodeRabbitの改善を促す 5 -
判断基準:一人あたり月1時間の削減で費用対効果あり Essentialsプラン $30 / 人月 ≒ 4,500 円 削減できれば費用対効果がプラスになる作業時間 =
1時間 / 月 人件費 0.5万円 / 時間 で換算 CodeRabbitを導入するメリットはコード品質の向上なども見られるが、 2ヶ月程度の短期的な検証では効果を見るのは難しいと判断して、作業時間削減 に絞った 「1時間削減できるなら導入してもいいね」とステークホルダーと合意を取った 6 -
測った項目:定性(アンケート) 項目 内容 役割 レビューする時間の短縮 変わらない/30分/1時間/4時間/1日以上 の5択で自己申告 効果の直接指標 レビューされる時間の短縮 同上
効果の直接指標 開発リードタイムの短縮 同上 効果の直接指標 レビュー指摘の品質評価 8項目を5点満点で: タイポ/バグ/セキュリティ/パフォーマンス/コーディングルール/ ビジネス要件/カスタマイズ性/属人化解消 得意不得意を見る 継続希望 続けたいか 自由記述 良かった点・困った点 現場の感触 8 -
測った項目:定量(PRのデータから集計) 項目 PR数 内容 役割 CodeRabbitで事前にレビューされていれば、人のレビューコメント数は少なくなっていく はず 数が減っていれば人の負荷軽減や作業時間削減に効果があるはず 効果の間接指標 Pull
Requestの件数 人が書いたレビューコメントの件数 人のレビュー コメント数 良い指摘 ÷ CodeRabbit の指摘数 良い指摘の割合 CodeRabbitが、適切なところを指摘できているか 良い指摘だと思ったらスタンプを付けてもらう(修正の有無は問わない) 割合が低い場合は、ノイズになり邪魔になっている可能性がある 有効に使えている か リードタイム(レビュー依頼 → マージ までの時間)の計測はしたかったが、チームごとにブ ランチやPRの運用が異なり、有効なデータの計測が難しくて断念... 今後の課題 9 -
結果 ① 定性:削減時間の平均は、チームで割れた チーム別 平均削減時間 / 月(最終アンケート、n=12) A(2名) B(4名) C(3名)
D(3名) 全体(12名) レビューする時間 4.0 時間 0.4 時間 1.3 時間 0 1.1 時間 レビューされる時間 0.5 時間 0.4 時間 0 0 0.2 時間 開発リードタイム 2.5 時間 0.4 時間 1.3 時間 0 0.9 時間 A、B、Cチームはジュニアメンバーや入って日が浅いメンバーがいて、軽微なミスを CodeRabbitが拾ってくれることで、時間削減を実感できていた Dチームは実装頻度が低く、恩恵を感じることが少なかった -
結果 ② 定性:効く指摘と、効かない指摘 指摘の品質評価(最終、5点満点、n=12) タイポ 3.92 セキュリティ 3.67 バグ 3.58
属人化解消 3.33 コーディングルール 3.25 カスタマイズ性 3.08 パフォーマンス 3.08 ビジネス要件 2.83 0 1 2 3 4 コードを見て分かるものは早い段階で良い指摘ができていて、効果を実感した そのプロダクトならではのドメインを考慮した良い指摘は少なかった 期間内では CodeRabbitを育てられなかった 5 -
結果 ③ 定量:良い指摘は増えた。人のコメントは減らなかった 導入前(2月) 中間(3月) 最終(4月) PR数 361 237 308
人のレビューコメント 92 151 189 PRあたり 0.25 0.64 0.61 人のコメントは 92 → 189。減っていない 要因は不明 指摘は 256 → 220 に減り、 スタンプは 43 → 58 に増えた 指摘の質が変わった CodeRabbit の指摘 — 256 220 うさぎスタンプ — 43 58 良い指摘の割合 — 16.8% 26.4% 時期的な影響もあった 4月には新メンバーも増えていた CodeRabbitが育っていくことで良い指摘が増えることがわかった 時間が削減したかは、定量ではわからなかった 13 -
判断:チームごとに導入を決めてもらう 2チーム 1チーム 1チーム 継続 後から導入 導入せず メンバーが入れ替わって、レビュー体制 チームで話し合い、自分たちでレビュー が変わった
スキルを育てる判断 合格ラインを超えた/半数が実感 全チームで一律で導入ではなく、効果があったチームで導入する 最終結果をもとに、チームで判断して稟議承認を得る 一部の効果計測は継続し、惰性で利用し続けないように定期的に観測 14 -
まとめ • 2ヶ月で効果検証を実施 • 一人あたり1時間/月 の作業時間削減を目安とした • 定性と定量で計測 ◦ 定性:レビューする/される時間、リードタイム
◦ 定量:人のレビューコメント数、良い指摘割合 • ジュニアや日の浅いメンバーには効果が高かった • 検証結果を見て チームごとに導入を判断 した 15 -
良かった ② 学習した独自ルールも汲み取ってレビューしてくれた 学習件数(CodeRabbit Learnings) 学習したルールの例 アーキテクチャ トランザクション境界は Controller に置く。モデル内では張らない。
ユビキタス言語 用語の使い分けを守る。同じ概念を別の語で書くと指摘する。 ドキュメント ADR は決定時点の記録。実装に合わせて書き換えず、差異は注記で示す。 レビューを通じて学習した独自ルールも汲み取ってレビューしてくれていた 21 -
定量 CodeRabbit Analytics:約3ヶ月の利用実績 179 838 61.3% 4.68 / 0.87 マージされたMR
CodeRabbitのコメント 受容率 コメント数 / MR (CodeRabbit / 人間) CodeRabbitのコメントは人間の約5倍。そのうち6割が受け入れられた 25 -
約3ヶ月CodeRabbitを使って感じたことまとめ レビュアー 学習の蓄積 レビュー時 負担が減った 精度が高くなった 心理的負荷が減った 安心してレビューを任せられる 長く使うほど独自ルールを汲み取る 細かい考慮漏れを拾ってもらえる
安心して任せられることでレビュアーの負担が減り、人間は設計とドメイン理解に集 中できた 自分たちのニーズに合わせて使い込めば、引き続き効果が得られると感じた 26