Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ML@Loft リポジトリをまるごとAIでレビューする
Search
Kawataki Yoshikazu
October 30, 2024
Technology
1
410
ML@Loft リポジトリをまるごとAIでレビューする
ML@Loft - コンテンツレビューにおけるLLM活用のリアル で発表したスライド資料
Kawataki Yoshikazu
October 30, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
AIでデータ活用を加速させる取り組み / Leveraging AI to accelerate data utilization
okiyuki99
6
1.4k
入院医療費算定業務をAIで支援する:包括医療費支払い制度とDPCコーディング (公開版)
hagino3000
0
120
頭部ふわふわ浄酔器
uyupun
0
240
Zero Trust DNS でより安全なインターネット アクセス
murachiakira
0
110
20251029_Cursor Meetup Tokyo #02_MK_「あなたのAI、私のシェル」 - プロンプトインジェクションによるエージェントのハイジャック
mk0721
PRO
5
1.9k
プロダクト開発と社内データ活用での、BI×AIの現在地 / Data_Findy
sansan_randd
1
620
猫でもわかるAmazon Q Developer CLI 解体新書
kentapapa
1
140
東京大学「Agile-X」のFPGA AIデザインハッカソンを制したソニーのAI最適化
sony
0
150
re:Invent 2025の見どころと便利アイテムをご紹介 / Highlights and Useful Items for re:Invent 2025
yuj1osm
0
340
仕様駆動開発を実現する上流工程におけるAIエージェント活用
sergicalsix
7
3.6k
QA業務を変える(!?)AIを併用した不具合分析の実践
ma2ri
0
160
ソースを読む時の思考プロセスの例-MkDocs
sat
PRO
1
320
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
Why Our Code Smells
bkeepers
PRO
340
57k
Side Projects
sachag
455
43k
GitHub's CSS Performance
jonrohan
1032
470k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
KATA
mclloyd
PRO
32
15k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
2.5k
Statistics for Hackers
jakevdp
799
220k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
Building Applications with DynamoDB
mza
96
6.7k
Transcript
© EXNOA LLC 1 リポジトリをまるごと AIでレビューする Long Contextモデルを利用したレビューシステムの紹介
© EXNOA LLC • 合同会社EXNOA • 技術統括本部 技術推進部 サーバーグループ •
川瀧 嘉和 自己紹介 2
© EXNOA LLC 背景と課題 • 自社でパブリッシュするゲームタイトルの技術面のレビューを横断的に 行っているが、様々な言語、アーキテクチャやプラットフォームのものが あり、レビュワーの技術スタックでカバーしきれないことある。 • 比較的短期間にアプリケーションやインフラストラクチャーなど、資料物
量が多く、幅広い範囲をレビューする必要があり、全てを網羅的にレ ビューしきれない場合がある。 3
© EXNOA LLC レビューシステム概要 本システムは、LongContextモデルを活用 し、リポジトリ全体を単一のコンテキスト として捉え、複数の評価基準に基づいて包 括的に分析します。 これにより、プロジェクト全体の文脈を考 慮した、改善提案を自動生成するレビュー
ツールです。 4
© EXNOA LLC アーキテクチャ概要 5 Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標]
は、 米国その他の諸国における、 Amazon.com, Inc.またはその関連会社の商標です。 • シンプルなECSによる構成 • WebインタフェースはGradioを採用 • 処理部分はフルスクラッチで開発
© EXNOA LLC レビュープロセス概要 レビュープロセスの中で Claude 3.5 Sonnet と Gemini
1.5 Proを使用 ・レビュー対象ファイルリストの作成 ・レビューの実施 ・レビュー結果の評価 6 レビュー対象ファイルリスト作成 Gemini レビュー用プロンプトを構築 レビューを実行 Claude Gemini OR 提案を評価 有効? Claude Gemini OR はい いいえ 提案に追加 提案を破棄 結果を出力 視点ごとのレビュー 提案の評価とフィルタリング
© EXNOA LLC 試しにvllmをレビューしてみました 7 https://github.com/vllm-project/vllm.git
© EXNOA LLC 8
© EXNOA LLC 9
© EXNOA LLC 10
© EXNOA LLC 11
© EXNOA LLC 提案の一例 12
© EXNOA LLC 技術的なポイント • AIによる回答に一貫性をもたせキャッシュできるよう常にTemperature=0 • コンテキスト長が長くなったと言っても、一度に全体を取り込めないリポジトリは多い • レビューするファイルそのものもAIに選定させて無駄なファイルを除外
• 出力コンテキストが長くなるとJSONで出力が不安定になる • マークダウンで出力し、正規表現で解析 • 地道なプロンプトのチューニング • いろいろなリポジトリをレビューにかけ繰り返し調整 13
© EXNOA LLC メリットと効果 • 操作が簡単で誰でもAIレビューの提案出力が可能になった。 • 関連した複数のファイルを横断する指摘や提案もしてくれる。 • レビュワー担当者の技術スタックによらず一定精度のレビューが可能になっ
た。 • 提案の再確認は必要だが、確実にレビュー品質は向上した。 • 精度の高いモデルを入れ替えるだけで、レビュー精度の向上が期待できる。 14
© EXNOA LLC 課題 • 担当者の技術スタックによらずレビューはできるものの、提案内容の妥当 性を人間が評価できる必要がある。 • レビュー対象ファイルリストの選定の精度がファイルパスに依存してしま う。
• CodacyやSonarQubeなどの競合になると思われるサービスとの比較がで きていない。 15
© EXNOA LLC まとめ • LongContextモデルを利用することで、プロジェクト全体を包括的に レビューすることが可能になった。 • Claudeをはじめ世の中には様々なモデルが公開されてきているので、 その時の最善のものを利用することで、より高精度なレビューを実現
できるようになる。 • AIによるレビューはできても最終的に人の確認は必要。 16