Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIレビュアーをスケールさせるには / Scaling AI Reviewers
Search
technuma
August 19, 2025
Programming
2
280
AIレビュアーをスケールさせるには / Scaling AI Reviewers
technuma
August 19, 2025
Tweet
Share
More Decks by technuma
See All by technuma
エンジニアの仕事を機械の番人から仕組み設計者へ / From Machine Keeper to System Designer
technuma
0
190
Devinにファーストレビューをさせ、コードレビューを効率化するには / Using Devin to Make Code Reviews More Efficient
technuma
3
2.2k
開発生産性を計測し、開発組織の当たり前基準を上げる
technuma
2
550
Other Decks in Programming
See All in Programming
Android 16 × Jetpack Composeで縦書きテキストエディタを作ろう / Vertical Text Editor with Compose on Android 16
cc4966
2
1.1k
Platformに“ちょうどいい”責務ってどこ? 関心の熱さにあわせて考える、責務分担のプラクティス
estie
2
480
チームのテスト力を鍛える
goyoki
4
1.2k
今だからこそ入門する Server-Sent Events (SSE)
nearme_tech
PRO
3
300
AIで開発生産性を上げる個人とチームの取り組み
taniigo
0
110
個人開発で徳島大学生60%以上の心を掴んだアプリ、そして手放した話
akidon0000
2
210
階層構造を表現するデータ構造とリファクタリング 〜1年で10倍成長したプロダクトの変化と課題〜
yuhisatoxxx
3
490
Deep Dive into Kotlin Flow
jmatsu
1
430
Go Conference 2025: Goで体感するMultipath TCP ― Go 1.24 時代の MPTCP Listener を理解する
takehaya
7
1k
まだ世にないサービスをAIと創る話 〜 失敗から学ぶフルスタック開発への挑戦 〜
katayamatg
0
150
大規模アプリにおけるXcode Previews実用化までの道のり
ikesyo
0
820
Pythonスレッドとは結局何なのか? CPython実装から見るNoGIL時代の変化
curekoshimizu
3
540
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
75
5k
Docker and Python
trallard
46
3.6k
Building an army of robots
kneath
306
46k
Git: the NoSQL Database
bkeepers
PRO
431
66k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
Agile that works and the tools we love
rasmusluckow
330
21k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Automating Front-end Workflow
addyosmani
1371
200k
BBQ
matthewcrist
89
9.8k
The Cult of Friendly URLs
andyhume
79
6.6k
Transcript
AIレビュアーをスケールさせるには レビュー観点を増やしても速度と精度が落ちない仕組みの実現 株式会社グロービス 大沼和也 1
目指したもの:スケールの二大要素 レビュー観点を増やしても 1. 速度が落ちない 2. 精度が落ちない 2
Devinでの試験導入(2025年1月頃) 成果 人間の見落としを補完する有機的レビュー 直面した課題 Knowledge増加による性能低下 出力の不安定性 コントロールの難しさ コストが高い 3
Roo Codeでの改善(2025年4月頃) 技術的ブレイクスルー Subtask(Boomerang Tasks)によるコンテキスト分離 LLMの仕事をTestable化 手元での検証容易性 残された課題 CI統合の困難さ 非同期実行不可による速度限界
4
Claude Code Actionによる解決(2025年6月頃) 二大条件のクリア Subagents機能 + 非同期実行 精度と速度の両立を実現 運用面での改善 CI完全統合
デバッグの容易化 CIでも手元でも、同じレビューを実行可能 5
Claude Code Action によるレビューで起きていること 機能開発をしているバックエンドエンジニア(SRE,FEなど)以外からの機能追加 やちょっとした修正をするためのPRが増加 文言修正レベルであればPOからもPRが出る 慣れていない開発者でも、レビュー後のちょっとした修正まで一気通貫でClaude Code Actionが対応
6
実装事例1:Dependabot PR レビューの自動化 Before 膨大な依存関係の更新を人手でレビュー リリースノートの確認作業が手間 潜在的な問題の見落としリスク After パッケージアップデートの共通作業をAIに委譲 自動でリリースノート翻訳・issue検索など情報収集
→人間が集まった情報をもとにリスク評価を実施 7
Dependabotレビュー の実際の動作 AIが自動で実行すること リリースノートを日本語で要約 破壊的変更の検出 セキュリティ修正の確認 アップグレード後のIssue調査 8
関連Issue・PRの自動調査 人によってやるやらがブレてい た作業を自動化 リリース後に作成されたIssueを検出 既知の問題やバグの事前把握 9
DevExチームの工夫と評価 工夫したポイント リリースノートの日本語翻訳でマークダウン形式を維持 GitHub CLI利用を指定してWebSearchより確実な検索 AIだけでなく、人間が見てもわかるような手順書のように指示を書いている 不具合発見ができる可能性が高まる「行動」をAIに指示 良いところや感想 新規メンバーの学習にも活用可能 パッケージアップデートの標準化:
組織全体で200件/月程度のPR量 カバレッジ90%のCIはやはり大事 10
実装事例2:Subagent を活用したレビュー レビューの分散並列処理 非同期実行で速度問題を解決 コンテキストを適切に分離して精 度向上 モード別に特化したレビュー コード責務特化 FlakyTests特化 機密情報特化
見落としがちなパターン特化 11
Subagents の詳細 Orchestratorによる制御 PRの内容を分析 自動的にSubagentを選定し依頼 Subagentsからの結果を統合してレビューを返却 開発時の強み ローカルでもコマンドでレビュー実行可能 CIと同じレビューを手元で事前確認 高速なフィードバックループの実現
12
サブエージェントのデ バッグ容易性 GHAログをもとに手元で Task単位でのデバッグ可能 Task Parameters subagent_type description prompt Result
詳細なレビュー結果 問題点と良い点の明記 13
AIレビューの精度測定 とテスタビリティ 定量的な精度測定の実現 PRコメント単位での採用率を測 定 →レビュー精度向上につなげる 14
精度測定システムの特徴 採用率のモニタリング カテゴリ別の強み・弱みの可視化 継続的な改善サイクル 実装の容易さ この測定自体もClaude Codeで簡単に構築可能 15
まとめ:スケールするAIレビュアーの実現 達成したこと 速度と精度の両立を実現 人間とAIの協働モデルの確立 継続的改善のサイクル構築 今後の展望 さらなる精度向上 ドメイン特化型レビュアーの開発 全チーム展開に向けて準備中 16
ご清聴ありがとうございました 17