最新のAI コードレビューを導入してみたら意外とスムーズだった話

2025/6月頃からAIコードレビューツールを入れてみたら、想像より簡単に導入できてとても便利だったという話をしています

Transcript

1. 最新の AI コードレビューを導入してみたら 意外とスムーズだった話 2025/09/18 株式会社 LayerX 松永大
2. 松永 大 / マツナガ マサル @zabeth129 略歴 2016 年 11 月 起業 2020 年 1 月 LayerX 入社 2020 年 6 月 三井物産デジタル・アセットマネジメントに出向 趣味はライブに行くことと人馴れしていない猫を見守ること X はうるさいです 自己紹介 © LayerX Inc. 2
3. 事業紹介 © LayerX Inc. 事業紹介 証券販売（ALTERNA）とアセットマネジメント事業 三井物産デジタル・アセットマネジメント（以降、MDM）という６社による合弁会社で事業を運営 業務の統合とソフトウェアによる業務効率化で「新しくて面白い」を実現する会社 3
4. © LayerX Inc. 4
5. 目次 © LayerX Inc. 目次 AI コードレビュー採用の背景 検討・比較したツール Greptile の紹介 導入担当として実践したこと 今後の期待と取り組み まとめ 5
6. チームが抱えていた課題 © LayerX Inc. AI コードレビュー採用の背景 増員と AI コーディングによる開発スピード向上でレビュー負荷が増加 ALTERNA 開発チームが急拡大に伴い、約半数が在籍半年未満という状況に AI のミスやチームとして推奨しない書き方を AI に指示した本人が見落としてしまい、レビュワーに負荷が転嫁 されるケースも 一部のメンバーにレビュー負荷が偏っていた ドメインの複雑性を考えると古株メンバーのレビューへの依存を排除することができなかった 6
7. AI コードレビューを通じて実現したいこと → チーム拡大に対応できるスケーラブルなレビュー体制が必要 © LayerX Inc. AI コードレビュー採用の背景 レビュー精度の均一化 チームに所属して日が浅くても最低限のレビュー品質を担保したい レビュー負荷の削減 コード生産が早くなったのだからレビューも生産性を上げたい 些末な指摘に時間を消費したくない 7
8. 事前に想像していた AI コードレビューへの先入観 © LayerX Inc. AI コードレビュー採用の背景 誤った指摘で逆に対応コストが増えない？ カスタマイズが結構大変そう。気合いを入れて導入しないとダメ？ コード生成のカスタムコンテクストをチームで共有知化を進めている途中 8
9. 弊チームでのツール選定の前提 いいものが見つかったら乗り換える前提で、あまり工数をかけていない © LayerX Inc. 検討・比較したツール とりあえず試す。もっと良いツールが出たら乗り換える ※MDM では包括的に AI 予算を取っている ツールを乗り換えても Custom Context は引き継ぐ手段はあるはず LayerX の別事業部で先に検証が進めていることが多く、相乗りさせてもらうつもりだ った 他の事業部の学びを活用できる素晴らしい環境 ※MDM のエンジニアは全員 LayerX からの出向のため、LayerX の資料を参照できる 9
10. 検討・比較したツール ※個人の感想です © LayerX Inc. 検討・比較したツール PR-Agent（2023/9 ~ 2024 年前半） 当時の AI モデル性能不足の問題で全く定着せず（ChatGPT-4 のころ） 精度の問題と英語コメントによる読みにくさが浸透しなかった理由か...? 2 年前より劇的に進化しているはずなので、時間があればまた試してみたい Cursor Bugbot（2025/6 ~ 2025/9） とても便利！凡ミスをしっかり拾ってくれる！ 指摘の 7 割くらいは妥当と感じた ちょっとカスタマイズが弱い...?（ただ、ノーカスタマイズでも十分便利） コメントが付くのが遅く、指摘を小出しに行うので全部解消するのに時間がかかった 修正 -> push -> コメントが付く -> 修正 -> push -> コメントが付く -> ... 10
11. Greptile の紹介と選定理由 Greptileの紹介 MDM の開発チームでは Greptile(https://greptile.com/)を採用 リポジトリ全体を indexing して全体を考慮したうえ でレビューする コードの依存関係や影響範囲を把握したうえで差分をレビュー チーム在籍歴の浅さを一定カバーしてもらえそうだと期待 LayerX のバクラク事業部で先行して試験導入されて おり、評判が良かった 圧倒的感謝...! © LayerX Inc. 11
12. Greptile の良いところ（1/2） © LayerX Inc. Greptileの紹介 差分に含まれていないコードも考慮してレビューする 例：Go の time.Time のタイムゾーン設定で、time.Local を指定する実装を見つけたが、プロジェクト全体では util パッケージ に JST のタイムゾーンを返す関数を作っていることを指摘 くだらないミスに対する指摘はほとんどカバー タイピングミス、英語の綴りミス、日本語の句読点漏れ、...etc コメントや PR の説明との差分を見て実装の矛盾を指摘 例：「XX=true のときに YYY すると PR の説明に書かれているが、実装はそうなっていない」 12
13. 差分に含まれていないコードも考慮してレビュー © LayerX Inc. Greptileの紹介 timezone の指定を共通化していることを考慮した指摘 13
14. typo 検知 © LayerX Inc. Greptileのコメント実例紹介 同僚に指摘されるとちょっと申し訳なくなるやつ ① 14
15. Print 文の削除漏れ © LayerX Inc. Greptileのコメント実例紹介 同僚に指摘されるとちょっと申し訳なくなるやつ ② 15
16. Greptile の良いところ（2/2） © LayerX Inc. Greptileの紹介 コーディング規約を Custom Context として与えると高い精度で違反を指摘 新しく決めたチームのコーディングルールの浸透に一役買っている Greptile が自動でルールを学習 人間がつけたレビューコメント Greptile のコメントに対する評価 良い → 的外れ → 16
17. コーディング規約違反の検知 © LayerX Inc. Greptileのコメント実例紹介 チームの定例で決めたコーディング規約をレポジトリで管理して Greptile に追加してお り、その内容に基づいて指摘 17
18. Greptile で今後の改善が期待される点（1/2） © LayerX Inc. Greptileの紹介 日本語読解が苦手...? XXX とコメントされていますが、XXX の実装になっていません → なってる YYY と記述がありますが、YYY になっています → じゃあ問題ないのでは...？ 人間だと起こり得ない誤った指摘 lint や test を実行すれば誤りだと分かるコメント XXX が import されていません → 数行上で import してるよ YYY が宣言されずに使われています → 宣言しているよ レビューがたまに暴走 何度かカスタムコンテクストの書き方を修正して対策を実施 18
19. Custom Context の暴走 Greptileのコメント実例紹介 75%が人間に誤り判定されたルール margin 設定を見つけるとここぞとばかりにコメント © LayerX Inc. 19
20. Greptile で今後の改善が期待される点（2/2） © LayerX Inc. Greptileの紹介 自動追加される Custom Context の監視と修正が必須 適用対象が Greptile をインストールしている全てのレポジトリになる 同じ内容のコンテクストが複数回追加された（先程の margin に関するルール） 予算管理（ユーザー数管理）がちょっと面倒 Greptile をインストールしたレポジトリで月 2 回以上 PR を作成したユーザー（bot 含む）全員が課金対象 ※Greptile への登録の有無は関係ない ホワイトリストを json もしくは Greptile の管理画面で管理する必要あり 自動追加する Custom Context は日本語で追加してほしい 20
21. 導入担当として実践していること © LayerX Inc. 導入における実践 追加される Custom Context の監視とメンテナンス 約 10 人のチームで 1 ヶ月で 約 20 個のルールが自動追加された 約 1/3 が手動修正や削除の対象に 個別ケースだったので共通ルールとして追加したくなかった 既存コンテクストと重複 暴走 or 考慮されない プロンプトエンジニアリングの要素がある 追加されたコンテクストの適用範囲を学習に使ったレポジトリに絞る 自分以外が出した PR についた Greptile のコメントを定期的に監視 Custom Context の調整の参考材料にする メンバーが対応せずに resolve にしているコメントの割合もざっくり把握 21
22. チームへの浸透 あまり頑張る必要がなかった © LayerX Inc. 導入における実践 シニアなメンバーを中心に少数精鋭で運用していけば十分そう 知識や経験が不十分なメンバーがチューニングに参加するとブレてしまう可能性あり ほとんどのメンバーは受け身で OK AI のレビューを確認したうえで人間にレビュー依頼をするだけ 誤っている AI レビューを見かけたら でフィードバックする 22
23. 今後やっていきたいこと © LayerX Inc. 導入における実践 Custom Context と AI コーディングのコンテクストの共通化（取組中） コード生成で与えるコンテクストと部分的には一致するはず ツールではなくチームに AI コードレビューのアセットが溜まる状態にしたい AI コーディングエージェント と Greptile のコラボレーション（一部実現） すでに Devin と Greptile が勝手に会話して作業を進めてくれている 優先度が上がりきらないリファクタリングや改善を任せたい Notion 連携によるビジネスロジックの注入（未検証） 例：PR の説明欄に Notion に記載の仕様書ページ URL があった場合、それに基づいたレビューをしてほしい repository 内の情報だけではロジック誤りの指摘に限界がある 金融プロダクトを作るチームとして最もほしい要素 23
24. AI コードレビューへの先入観は覆された！ © LayerX Inc. まとめ 誤った指摘で逆に対応コストが増えない？ → 許容範囲内かつ今後改善できるはず カスタマイズが結構大変そう。気合いを入れて導入しないとダメ？ → とりあえず入れ るだけなら楽 24
25. AI コードレビューを導入すべきか とりあえず入れてみよう！ © LayerX Inc. まとめ 1 人 月額 30 ドルなら、レビュー工数を 月当たり 1 人 1 時間削減すれば元が取れる 弊チームは Greptile を「とりあえず入れた」だけのレベルで十分な恩恵を受けている ※私が片手間で１人でコンテクストを追加したり監視したりしているだけあり、まだ特別なことは何もしていな い モデル性能の向上や我々によるフィードバックで精度は今後も上がっていく 利用者側で何もしなくても技術進化の恩恵を受けられる領域の１つ 25
26. 絶賛採用中！！ © LayerX Inc. 宣伝 新しい採用ページがかっこいいのでぜひ見てください！ https://jobs.layerx.co.jp/ Fintech 事業部では生成 AI を使った業務効率化に取り組むメンバーを募集中 他の事業部ではもっと広くエンジニアを採用中です！ 26