Slide 1

Slide 1 text

© estie Inc. レビュー、どこまでAIに任せられる? - AI コードレビューツールの選択肢と実践 チームに CodeRabbit が仲間入りしたら レビュー体験が改善し なしではいられなくなった 0

Slide 2

Slide 2 text

© estie Inc. 自己紹介 1 2025/09 株式会社estie 入社 - 商業用不動産市場の DX 化を進めるスタートアップ - ソフトウェアエンジニア Sadahiro Inoue / 井上真嘉 - ホラー作品、ちいかわ、タコスを好むエンジニア 2025/08 以前 - 大手製造業 → 製造業向けSaaSスタートアップ - 画像処理、機械学習を活用したソフトウェア開発 - 人の作業負荷を減らすことに情熱を持つ(現在も) https://x.com/rebonire_itame

Slide 3

Slide 3 text

© estie Inc. 株式会社estieについて 2

Slide 4

Slide 4 text

© estie Inc. estie 3

Slide 5

Slide 5 text

© estie Inc. 本日のおはなし 4

Slide 6

Slide 6 text

© estie Inc. 5 1. ボトルネックとなったレビュー作業 2. なぜ CodeRabbit を入れたのか 3. CodeRabbit の良いところ 4. どのように運用しているか(Claude Code との使い分け) 5. 入れてどう変わったか 話す内容

Slide 7

Slide 7 text

© estie Inc. 開発現場で起きていたこと 6 2025 年後半から AI Agent を本格活用 嬉しい変化 • 実装スピードが上がった(並列作業が可能) • 毎日 Pull Request が以前よりも多く作られるようになった しかし • 人間レビューのキャパは急に増えるわけもなく、レビューが追いつかない状態に AI による実装速度の向上に対して、レビューがボトルネックになっていた

Slide 8

Slide 8 text

© estie Inc. 方針を決めた 7 コードの初回レビューを AI に肩代わりさせる • 人間が担うのは、複雑なドメイン知識と設計判断 • 初回レビューを AI に任せ、人が見落としがちな細かい部分を先に拾ってもらう • レビュアーが別作業をしていても、先にフィードバックが返っている状態を作る そこで、この最初のレビュー担当者に選んだのが… 余談: うさぎのキャラクターネームは Hoppy らしい

Slide 9

Slide 9 text

© estie Inc. なぜ CodeRabbit ?? 8 前職で CodeRabbit を使っていて、レビュー体験の良さを知っていた 良い!と感じていた点 • 小さいミスをいっぱい拾ってくれるので、本質ではない指摘に人が時間を割く必要なし • PR の内容をシーケンス図等で可視化し、レビューに着手するハードルが下がる • 巨大な PR には爆盛りレビューコメントがつき、自然と PR 粒度を意識するようになる • 謎のポエムが添えられる(好き嫌いは個人差) CodeRabbit の良さを伝えるため、2週間のトライアル導入を実施!

Slide 10

Slide 10 text

© estie Inc. トライアル後のアンケート結果(2026-02) 9 短期間で試して、チーム全員が「導入は有益」と判断! 4 5 4 5 4 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 PR内容の理解 心理的ハードル レビュー時間 セルフチェック効果 レビュワー負担軽減 レビュー体験スコア(5点満点) 自分にない観点の指摘があった、明らかなバグや考慮漏れを先に拾ってくれる、 何度でも気軽に依頼できて心理的に楽、といったポジティブなコメントが多かった。

Slide 11

Slide 11 text

© estie Inc. CodeRabbit の良いところ① 10 最初のレビュー担当者として、人が見る前に問題候補を幅広く拾ってくれる。 裏付けとして、AI コードレビューツールをベンチマークする Code Review Bench では 評価指標 意味 順位 Recall 直すべき問題をどれだけ漏れなく見つけたか 1位(49.1%, 2位とは 4pt 差) Precision 出した指摘がどれだけ実際に直すべきものだったか 15位(51.7%) F1 Score 見逃さず、余計なことも言わない総合力 3位(50.4%) 出典: Code Review Bench / Martian (https://codereview.withmartian.com/) 集計期間 2026-01-01 ~ 2026-06-30 ノイズ指摘はあるものの、見逃しの少なさは16ツール中トップの性能

Slide 12

Slide 12 text

© estie Inc. CodeRabbit の良いところ② 11 設定で社内・プロジェクトのナレッジを渡すほど、リポジトリ特化のレビューになる! 汎用 AI ではなく、生息するリポジトリのレビュアーとして育てられる 設定項目 内容 Tone Instructions レビュコメントの規約を指定。 結論先出しや、AIっぽい定型句の禁止リスト明文化、口調など。 High Level Summary サマリーの観点を指定。 Mermaid 図の出力指定も可能。 Path Instructions パス別(FE, BE, インフラなど粒度自由)のレビュー観点を指定。 Code Guidelines 規約ファイルを参照できる。 CLAUDE.md ももちろん OK。 Linked Repositories 依存する他リポジトリの文脈を与えられる。

Slide 13

Slide 13 text

© estie Inc. CodeRabbit の良いところ③ 12 Chat Agent としても、質問したらちゃんと教えてくれる! • @coderabbitai メンションすると PR 文脈に沿って回答してくれる。 • 指摘を受け取るだけではなく、 チームでのナレッジ共有にも有効。

Slide 14

Slide 14 text

© estie Inc. CodeRabbit の良いところ④ 13 人間レビュアーに優しいレビュー画面が最近登場した! • 表示するファイル順序を 対人間に説明する順の論理レイヤー に再構築してくれる。 • データ構造、ロジック、 呼び出し元、テストの順。 • 大きい PR ほど理解進む。 • シンボルの定義・参照もできる。 • もちろん、コメントは GitHub と同期される。

Slide 15

Slide 15 text

© estie Inc. CodeRabbit で困ったことと、割り切り 14 困り 今の割り切り、対応など ノイズ指摘がある 指摘の採否は人が判断。繰り返す誤指摘は設定ファイルに反映。 また、現在 Opt Out を有効にしているので、レビュアーとの議論を学習す るモードに更新することで、ノイズを減らすことができる想定。 PR 上でレビュー結果が 返ってくるのが遅め 変更内容に対してしっかりとチェックをしてくれている(ゆえに Recall の 性能が高い)のだと考え、生暖かく見守っている。 設定ファイルが育つほど メンテが要る 観点の変更も PR でレビューする。実際の誤指摘・見逃しを起点に更新。 ローカルのセルフチェックの中では、Claude Code が必要に応じて設定 ファイルを更新してくれる。

Slide 16

Slide 16 text

© estie Inc. 今の運用状態について 15 実装 人間レビュー PR 作成 AI レビュー AI レビュー AI コードレビューは PR 前後の二段構え PR 前(ローカル) • Claude Code がレビューしつつ CodeRabbit CLI も実行。 • 仕様との整合や、diff 外への影響チェックなどする Skill となっている。 PR 後(GitHub) • CodeRabbit が自動でサマリー生成 & レビューを行う。 詳細はこちらのブログで!

Slide 17

Slide 17 text

© estie Inc. Claude Code との併用について 16 Claude Code もレビューができるはずで、CodeRabbit との差はあるのか?と気になり 6つの PR に対して両者を独立にレビューさせて確かめてみた。(2026-03 時点) 評価指標 Claude Code CodeRabbit 具体性(ファイル名、行番号) 96% 100% 実行可能性(修正案) 41% 90% 誤検知率 0% 10% diff 外への指摘 あり(全 PR で実施) なし(diff 内に特化) 得意領域が異なるからこそ、相補的に使い網羅率をあげることにした Claude Code 側の結果は Skill 構成に依存する。

Slide 18

Slide 18 text

© estie Inc. 導入後の効果(所属チームプロダクトの開発フェーズ) 17 デプロイ頻度 レビュー待ち時間 AI コードレビュー開始 導入後、レビュー待ち時間は減り続けた! 2025-11 をベースラインとしたとき • レビュー待ち時間 約70%減 • デプロイ頻度 約2.8倍 これらの変化がすべて AI コードレビュー だけによるものだとは言い切れないが、 少なくとも効果はあった!

Slide 19

Slide 19 text

© estie Inc. まとめ 18 正式導入から4ヶ月経過し、チームメンバーに改めて聞いた • 導入は有益だった? → 8割が YES !! • 使えなくなったら困る? → 8割が YES !! • 人間レビューが設計・ドメインに集中できるようになった? → 全員が YES !! CodeRabbit が初回レビューを補助 ✓ 人間が確認する前に明らかな問題点を先に指摘 PR前の AI レビューでコード品質改善 ✓ ローカルで Claude Code + CodeRabbit CLI で 品質を上げてから PR 作成 設計判断・ドメイン知識は人間が担う ✓ 複雑な部分はしっかり人間が介入するべき(HITL的) 人間は本当に見るべきポイントに集中 ✓ ノイズが減り、レビューの心理ハードルと往復回数低減

Slide 20

Slide 20 text

© estie Inc. 19 CodeRabbit 導入したら なしではいられなくなったかも!