Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ML@Loft リポジトリをまるごとAIでレビューする
Search
Kawataki Yoshikazu
October 30, 2024
Technology
1
300
ML@Loft リポジトリをまるごとAIでレビューする
ML@Loft - コンテンツレビューにおけるLLM活用のリアル で発表したスライド資料
Kawataki Yoshikazu
October 30, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
Amazon S3 Tablesと外部分析基盤連携について / Amazon S3 Tables and External Data Analytics Platform
nttcom
0
150
深層学習と古典的画像アルゴリズムを組み合わせた類似画像検索内製化
shutotakahashi
1
260
OpenID Connect for Identity Assurance の概要と翻訳版のご紹介 / 20250219-BizDay17-OIDC4IDA-Intro
oidfj
0
370
Windows の新しい管理者保護モード
murachiakira
0
170
Active Directory攻防
cryptopeg
PRO
7
4.4k
TAMとre:Capセキュリティ編 〜拡張脅威検出デモを添えて〜
fujiihda
2
360
PHPカンファレンス名古屋-テックリードの経験から学んだ設計の教訓
hayatokudou
2
510
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
1
1.5k
Culture Deck
optfit
0
480
運用しているアプリケーションのDBのリプレイスをやってみた
miura55
1
830
Goで作って学ぶWebSocket
ryuichi1208
3
2.3k
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
130
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
80
8.8k
Designing for humans not robots
tammielis
250
25k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
GitHub's CSS Performance
jonrohan
1030
460k
Navigating Team Friction
lara
183
15k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.4k
Practical Orchestrator
shlominoach
186
10k
Bash Introduction
62gerente
611
210k
Six Lessons from altMBA
skipperchong
27
3.6k
Statistics for Hackers
jakevdp
797
220k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
A designer walks into a library…
pauljervisheath
205
24k
Transcript
© EXNOA LLC 1 リポジトリをまるごと AIでレビューする Long Contextモデルを利用したレビューシステムの紹介
© EXNOA LLC • 合同会社EXNOA • 技術統括本部 技術推進部 サーバーグループ •
川瀧 嘉和 自己紹介 2
© EXNOA LLC 背景と課題 • 自社でパブリッシュするゲームタイトルの技術面のレビューを横断的に 行っているが、様々な言語、アーキテクチャやプラットフォームのものが あり、レビュワーの技術スタックでカバーしきれないことある。 • 比較的短期間にアプリケーションやインフラストラクチャーなど、資料物
量が多く、幅広い範囲をレビューする必要があり、全てを網羅的にレ ビューしきれない場合がある。 3
© EXNOA LLC レビューシステム概要 本システムは、LongContextモデルを活用 し、リポジトリ全体を単一のコンテキスト として捉え、複数の評価基準に基づいて包 括的に分析します。 これにより、プロジェクト全体の文脈を考 慮した、改善提案を自動生成するレビュー
ツールです。 4
© EXNOA LLC アーキテクチャ概要 5 Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標]
は、 米国その他の諸国における、 Amazon.com, Inc.またはその関連会社の商標です。 • シンプルなECSによる構成 • WebインタフェースはGradioを採用 • 処理部分はフルスクラッチで開発
© EXNOA LLC レビュープロセス概要 レビュープロセスの中で Claude 3.5 Sonnet と Gemini
1.5 Proを使用 ・レビュー対象ファイルリストの作成 ・レビューの実施 ・レビュー結果の評価 6 レビュー対象ファイルリスト作成 Gemini レビュー用プロンプトを構築 レビューを実行 Claude Gemini OR 提案を評価 有効? Claude Gemini OR はい いいえ 提案に追加 提案を破棄 結果を出力 視点ごとのレビュー 提案の評価とフィルタリング
© EXNOA LLC 試しにvllmをレビューしてみました 7 https://github.com/vllm-project/vllm.git
© EXNOA LLC 8
© EXNOA LLC 9
© EXNOA LLC 10
© EXNOA LLC 11
© EXNOA LLC 提案の一例 12
© EXNOA LLC 技術的なポイント • AIによる回答に一貫性をもたせキャッシュできるよう常にTemperature=0 • コンテキスト長が長くなったと言っても、一度に全体を取り込めないリポジトリは多い • レビューするファイルそのものもAIに選定させて無駄なファイルを除外
• 出力コンテキストが長くなるとJSONで出力が不安定になる • マークダウンで出力し、正規表現で解析 • 地道なプロンプトのチューニング • いろいろなリポジトリをレビューにかけ繰り返し調整 13
© EXNOA LLC メリットと効果 • 操作が簡単で誰でもAIレビューの提案出力が可能になった。 • 関連した複数のファイルを横断する指摘や提案もしてくれる。 • レビュワー担当者の技術スタックによらず一定精度のレビューが可能になっ
た。 • 提案の再確認は必要だが、確実にレビュー品質は向上した。 • 精度の高いモデルを入れ替えるだけで、レビュー精度の向上が期待できる。 14
© EXNOA LLC 課題 • 担当者の技術スタックによらずレビューはできるものの、提案内容の妥当 性を人間が評価できる必要がある。 • レビュー対象ファイルリストの選定の精度がファイルパスに依存してしま う。
• CodacyやSonarQubeなどの競合になると思われるサービスとの比較がで きていない。 15
© EXNOA LLC まとめ • LongContextモデルを利用することで、プロジェクト全体を包括的に レビューすることが可能になった。 • Claudeをはじめ世の中には様々なモデルが公開されてきているので、 その時の最善のものを利用することで、より高精度なレビューを実現
できるようになる。 • AIによるレビューはできても最終的に人の確認は必要。 16