全自動コードレビューの夢〜実際に活用されるAIコードレビューの実現に向けて〜

by shibutani

Embed

Start on current slide

Slide 1

Slide 1 text

全自動コードレビューの夢実際に活用される AI コードレビューの実現に向けて shibutani / @s_k_526 2025 年 8 月 20 日 AI コードレビュー実践事例 3 選

Slide 2

Slide 2 text

自己紹介 shibutani / @s_k_526 株式会社 LayerX Platform Engineering 部 Enabling チーム 2024 年に SecHack365 やセキュリティキャンプネクストに参加最近は猫よりも犬がすき © LayerX Inc. 2

Slide 3

Slide 3 text

背景

Slide 4

Slide 4 text

背景弊社では PR-Agent をリリース当初（2023 年）から導入していた PR-Agent を使って Pull Request を AI レビューしてみた。（日本語対応もしてみた）モデルの精度は遥かに向上しているはずだが、多くのチームで PR-Agent のレビューが活用されていない。 © LayerX Inc. 4

Slide 5

Slide 5 text

活用できていなかった理由 © LayerX Inc. チームごとのコーディング規約に準拠していないプロダクト知識を理解していない汎用的なレビューがほとんどで nits が多く、ノイズになっている etc... 5

Slide 6

Slide 6 text

今回の内容形だけの導入ではなく、実際に活用される AI コードレビューを実現するためのツール選定と、弊社で導入後に行なっている浸透に向けた取り組みについてお話しします © LayerX Inc. 6

Slide 7

Slide 7 text

ツール選定

Slide 8

Slide 8 text

比較対象 © LayerX Inc. PR-Agent AI コードレビューの先駆け的存在無料版（OpenAI API Key を利用）と有料版（クラウド版）が存在 GitHub Copilot code review GitHub Copilot エージェントの機能の一つとして提供 8

Slide 9

Slide 9 text

比較対象 Greptile コードレビューツールとしては新米のツール基本料金の中に学習機能やコードベースの Indexing が含まれる © LayerX Inc. 9

Slide 10

Slide 10 text

選定基準 © LayerX Inc. 妥当なコストかカスタム指示によりプロダクト知識を与えられるかコードベース全体を考慮したレビューが可能か学習によってレビュー能力が向上するかロックインされないか 10

Slide 11

Slide 11 text

妥当なコストか © LayerX Inc. レビューという開発の 1 プロセスの改善のため、多額のコストを費やすことはできない無料プランの存在など、ツール導入時のコストを抑えることができるかユーザー単位の課金によって、小さなチームから展開できるかどうか 11

Slide 12

Slide 12 text

妥当なコストかツール対応状況備考 Greptile △ ユーザー単位課金（1 ユーザーあたり 30 ドルから）無料プランが存在しない PR-Agent ◎ ユーザー単位課金（1 ユーザーあたり 30 ドルから） OpenAI API Key を利用する無料プランが存在 Copilot ⚪︎ ユーザー単位課金（Copilot の料金に含まれる） Copilot を利用している企業では試しやすい © LayerX Inc. 12

Slide 13

Slide 13 text

カスタム指示によりプロダクト知識を与えられるか © LayerX Inc. チームのコーディング規約やプロダクトの歴史的経緯に合わせたレビューを行いたい ex) 歴史的経緯で Vue の Script Setup ではなく、Options API を利用する必要があるプロジェクト特性に合わせたレビューを行いたい ex) お金を扱う正確性が求められるプロジェクトであればバリデーションの厳密さ、パフォーマンスが求められるプロジェクトであればアルゴリズムの適切さを重視 13

Slide 14

Slide 14 text

カスタム指示によりプロダクト知識を与えられるかツール対応状況備考 Greptile ◎ すべてのプランでカスタム指示が利用可能 PR-Agent ◎ 無料プランを含むすべてのプランでカスタム指示が利用可能 Copilot ⚪︎ Copilot Business プラン以上においてカスタム指示が利用可能 © LayerX Inc. 14

Slide 15

Slide 15 text

コードベース全体を考慮したレビューが可能か © LayerX Inc. コードベース全体で一貫したコーディングを実現したい ex) 似た関数名の処理は同じようなシグネチャとしたいなど変更部分だけを見ると不適切に見える実装が、コードベース全体では適切である場合が存在 ex) 大域脱出を前提とした実装となっており、各関数での個別の例外処理を省略するなど 15

Slide 16

Slide 16 text

コードベース全体を考慮したレビューが可能かツール対応状況備考 Greptile ◎ コードベース全体を考慮したレビューが実行される依存関係をグラフ構造として表現、レビュー実行時にクエリを行う PR- Agent × Enterprise プランにおいてはコードベース全体に対する RAG をサポートしているが、コードレビュー機能においては利用できない（2025 年 8 月現在） Copilot × ドキュメントに言及はない（2025 年 8 月現在） © LayerX Inc. 16

Slide 17

Slide 17 text

学習によってレビュー能力が向上するか © LayerX Inc. ルールの作成とメンテナンスコストを抑えたいすべてのルールをあらかじめ言語化することは難しいプロジェクトの成長に応じてレビュー基準は変化するため、人間が手動でルールのメンテナンスをし続けることは難しい 17

Slide 18

Slide 18 text

学習によってレビュー能力が向上するかツール対応状況備考 Greptile ◎ / といった明示的なリアクションに基づいたユーザー嗜好の強化学習最終コミットと最初のコミットの差分に基づいたユーザー嗜好の自己学習学習基準が明記されている（3 回以上無視され、なおかつクリティカルでないレビューは出現回数を抑制） PR-Agent ⚪︎ 強化学習および自己学習は存在するが、学習の基準は明記されていない Copilot △ 自己学習的な機能は用意されていない © LayerX Inc. 18

Slide 19

Slide 19 text

ロックインされないか © LayerX Inc. AI コードレビューツールの発展や新しいツールの登場の恩恵を受けたい AI コードレビューツールは発展途上であり、今後も優れたツールが出現する可能性が高い学習した知識やルールを Export できず、新しい技術に乗り換えることができないのは高いリスク 19

Slide 20

Slide 20 text

ロックインされないかツール対応状況備考 Greptile ◎ 学習によって自動生成されたルールを UI 上で確認・管理可能 PR-Agent ◎ Auto best practices 機能により、GitHub の Wiki 上にルールを自動生成 Copilot × フィードバックにより学習した結果にユーザーはアクセスできない © LayerX Inc. 20

Slide 21

Slide 21 text

選定結果 Greptile を採用 © LayerX Inc. 4/5 の選定基準で最も高い評価特に下記の機能が優れているコードベース全体の Indexing により依存関係を考慮したレビュー学習機能によるレビュールールの自動生成コストについては小さく試し、必要なメンバーとチームに展開していくことでカバー検証と評価を繰り返しながら展開することで、コストを最小限に抑える LayerX の「技術をまず試す」という文化が後押し 21

Slide 22

Slide 22 text

浸透に向けた取り組み

Slide 23

Slide 23 text

「Greptile のドキュメントを全て読む会」の実施 © LayerX Inc. 機能を体系的に理解するために、ドキュメントを読む会を実施それによって各プロダクトチームの Greptile 大臣が Best Practice を発信するきっかけに Greptile は他ツールと比べ、Indexing や学習の仕組みなど技術的詳細がドキュメントに記載されており、よりツールへの信頼感を高めることができた 23

Slide 24

Slide 24 text

Greptile のレビューに対する抵抗感を減らす © LayerX Inc. カスタム指示を使って日本語化することや、Greptile のレビュー閾値を調整し、Noisy なレビューを減らすことによって、AI レビューに対する抵抗感を減らすことができた 24

Slide 25

Slide 25 text

Greptile に対するフィードバックの推奨 © LayerX Inc. 学習機能を活用するために積極的に Greptile のレビューにコメントとリアクションをすることをルール化それによって継続的に AI レビューが進化し、信頼性が高まっていく「AI レビューツールは全員で育てる」 25

Slide 26

Slide 26 text

さいごに © LayerX Inc. LLM が進化し、AI コードレビューの精度も向上しているが、人間のレビュアーに比べると着眼点や思考力、過去のコンテキストの理解の観点で劣っている部分も否めないしかし、ベースとなっている LLM は日進月歩で進化するそのような中でコードレビューにおける AI の活用基盤や活用事例を社内で整備していくことは進化の恩恵を受ける上で重要なアクション LayerX では継続的に開発における AI 活用に取り組んでいく 26