Amazon BedrockとPR-Agentでコードレビュー自動化に挑戦・実際に運用してみた

"CATs #2 ：AI駆動型開発の最前線：GitHub Copilot Workspace、Claude、Bedrockが変える開発スタイル" にてお話しした内容です。

https://cats.doorkeeper.jp/events/177177

Transcript

1. Amazon BedrockとPR-Agentで コードレビュー⾃動化に挑戦‧実際に運 ⽤してみた リテールアプリ共創部 マッハチーム morimorikochan
2. 名前 morimorikochan 所属 クラスメソッド株式会社    リテールアプリ共創部    マッハチーム🚀 趣味 Switchのゲーム X @marooon88 ⼀⾔ オンライン登壇初めてで    緊張ｼﾃﾏｽ ⾃⼰紹介
3. • PR-Agentを使うことで、⽣成AIを利⽤しPRの概要⾃動⼊⼒‧⾃動コード レビューを⾏うことができた • AWS‧GitHubActions上で動作できるため、既にこれらを利⽤している場 合導⼊コストがとても⼩さい • 運⽤コストはSaaSに⽐べて低い • 現状ではいくつか課題がある 📚先に結論
4. 🤨コードレビューでこんなことありませんか？ 󰣻 毎⽇⼤量のコードレビューに追われて忙しい💦 󰣼 プルリクエストの説明がなく、コードの読み込みに時間がかかる 🕰 󰣻 コードが知らない⾔語‧FWで書かれていてレビューしにくい🤫 󰣼 ⼈によってレビューのばらつきがあって⼿戻りが多い🪃
5. 🤨コードレビューでこんなことありませんか？ 󰣻 毎⽇⼤量のコードレビューに追われて忙しい💦 󰣼 プルリクエストの説明がなく、コードの読み込みに時間がかかる 🕰 󰣻 コードが知らない⾔語‧FWで書かれていてレビューしにくい🤫 󰣼 ⼈によってレビューのばらつきがあって⼿戻りが多い🪃 ⽣成AIにサポートしてもらったら解決できるんじゃない？🤨
6. 󰡸探してみました (GitHub) Copilot for Pull Requests • pull requestの概要を⾃動出⼒し てくれるサービス • Enterpriseプランでしか提供して いない • Diffを⾒て⾃動でコードレビューし てくれるサービス • これはお蔵⼊りになったぽい https://githubnext.com/projects/copilot-for-pull-requests
7. 󰡸探してみました CodeRabbit • 無料プランではPull Requestの概要⾃動⼊⼒のみ • コメントを⼊れてくれる有料プランは$12/m~ ◦ PR作成者が有料プランである必要がある ◦ チーム全員で考えるとそこそこ... https://coderabbit.ai/
8. 󰡸探してみました (AWS Machine Learning Blog) Enhance code review and approval efficiency with generative AI using Amazon Bedrock • 利⽤するサービスが多く管理コ ストが⾼い • レビュー結果がメールで届く ◦ メールだと⾒落としちゃう... https://aws.amazon.com/jp/blogs/machine-learnin g/enhance-code-review-and-approval-efficiency- with-generative-ai-using-amazon-bedrock/
9. 󰡸探してみました coderabbitai/ai-pr-reviewer • CodeRabbitのOSS版 • モデルはChatGPT • PRの要約もできる • アーカイブされている tmokmss/bedrock-pr-reviewer • 左記のfork • モデルにAmazon BedRockを利 ⽤できる • GitHubのスター数39 https://github.com/coderabbitai/ai-pr -reviewer https://github.com/tmokmss/bedroc k-pr-reviewer
10. PR-Agent • CodiumAI社主導で開発している、⽣成AIを使ったレビューツール • 事例が多く、どれもポジティブなものだった • ⾃動コードレビューだけでなく⾊々できる • SaaS / OSS • 開発が活発だった 󰡸探してみました https://github.com/Codium-ai/pr-a gent
11. 特徴 • コードレビュー以外にも⾊々できる • 利⽤可能なモデルが多い • GitHubActionsで導⼊が簡単 󰴻PR-Agentとは
12. 特徴 • コードレビュー以外にも⾊々できる • 利⽤可能なモデルが多い • GitHubActionsで導⼊が簡単 󰴻PR-Agentとは
13. OSS版で利⽤可能なツール 1. /describe : PRの概要を⾃動記⼊する 2. /review : PRのコードレビューを⾏いコメントに追加する a. 不具合やセキュリティリスク 3. /improve : PRのコードレビューを⾏いコメントに追加する a. 保守性やパフォーマンスやテスト容易性など 4. /ask : コメントの質問に対して回答する 5. /update_changelog : PRの修正に応じてCHANGELOG.mdを出⼒ 6. /similar_issue :類似するissueを出⼒ ※有料プラン（PR-Agent Pro）だと他にもコマンドがあります 󰴻PR-Agentとは / コードレビュー以外にも⾊々できる
14. 主要なコマンドは以下3つ 1. /describe : PRの概要を⾃動記⼊する 2. /review : PRのコードレビューを⾏い結果をコメントする a. 不具合やセキュリティリスク 3. /improve : PRのコードレビューを⾏い結果をコメントする a. 保守性やパフォーマンスやテスト容易性など 4. /ask : コメントの質問に対して回答する 5. /update_changelog : PRの修正に応じてCHANGELOG.mdを出⼒ 6. /similar_issue :類似するissueを出⼒ 󰴻PR-Agentとは / コードレビュー以外にも⾊々できる
15. 特徴 • コードレビュー以外にも⾊々できる • 利⽤可能なモデルが多い • GitHubActionsで導⼊が簡単 󰴻PR-Agentとは
16. 利⽤できるモデル • ChatGPTの4o • Llama • Google Cloud のVertexAIで提供されているモデル • Amazon Bedrockで提供されているモデル • Groqで提供されているモデル • IBM watsonxで提供されているモデル • ✨ChatGPTのo1-preview/o1-mini ✨ • … 󰴻PR-Agentとは / 利⽤可能なモデルが多い
17. 特徴 • コードレビュー以外にも⾊々できる • 利⽤可能なモデルが多い • GitHub Actionsで導⼊が簡単 󰴻PR-Agentとは
18. GitHub Actionsのワークフローが ドキュメントに⽤意されている ※ローカルCLI, GitLab, BitBucket, Azure Devopsなどからでも実⾏可能 ※モデルにAmazon BedRockを利⽤す る場合は、別途AWSの認証情報設定が 必要 󰴻PR-Agentとは / GitHub Actionsで導⼊が簡単 on: pull_request: types: [opened, reopened, ready_for_review] issue_comment: jobs: pr_agent_job: if: ${{ github.event.sender.type != 'Bot' }} runs-on: ubuntu-latest permissions: issues: write pull-requests: write contents: write name: Run pr agent on every pull request, respo steps: - name: PR Agent action step id: pragent uses: Codium-ai/pr-agent@main env: OPENAI_KEY: ${{ secrets.OPENAI_KEY }} GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
19. 趣味で作ってるリポジトリで試したらうまくいったので 業務でも試してみた 試した条件 • bedrock/anthropic.claude-3- haiku-20240307-v1:0 ◦ 性能的にはclaude3.5-sonnet を使いたかったが、コストに ビビった • FE, BE, IaC含むモノレポ ◦ TypeScript • 2週間、6程度のPRで運⽤ 👊試してみた 仕組み • PRの概要⾃動⼊⼒/コードレビュ
20. いくつかいまいちな部分があった 1. ⽇本語で出⼒されない場合がある 2. 設定をチューニングしにくい 3. 指摘がイマイチ... 👊試してみた結果
21. 👊試してみた結果 / 1.⽇本語で出⼒されない場合がある うまくいった場合 ⽇本語を指定しても、そうならな い場合がありました ダメだった場合
22. 👊試してみた結果 / 1.⽇本語で出⼒されない場合がある You must always answer in Japanese. 必ず⽇本語で回答してください。 ⽇本語を指定しても、そうならな い場合がありました • 特に /describe でよく発⽣ • プロンプトの指定が⽢かっ た？ ダメだった場合
23. 👊試してみた結果 / 2.設定をチューニングしにくい モデルやプロンプトなどの設定⽅法 1. リポジトリのmainブランチのルートディレクトリに .pr_agent.tomlを配置しそこに定義 2. GitHubActionsでのジョブ実⾏時の環境変数で定義
24. 👊試してみた結果 / 2.設定をチューニングしにくい モデルやプロンプトなどの設定⽅法 1. リポジトリのmainブランチのルートディレクトリに .pr_agent.tomlを配置しそこに定義 2. GitHubActionsでのジョブ実⾏時の環境変数で定義 いずれもmainブランチでコードを修正する必要があり、気軽に設定値を修正 しにくい（2はトリガーが”issue_comment”の場合のみ）
25. 👊試してみた結果 / 3.指摘がイマイチ... PR-Agentがレビューで指摘した部分が的外れなことが多い 🤨“more clear”になる？ 🤨他と同じ定義⽅法なので よしなに無視して欲しい
26. 🤨⾃分が修正済みの内容を 指摘してくる（もう修正した けど…？） 👊試してみた結果 / 3.指摘がイマイチ... PR-Agentがレビューで指摘した部分が的外れなことが多い
27. 🤨型定義の時点でundefinedに なりえないのに... 👊試してみた結果 / 3.指摘がイマイチ... PR-Agentがレビューで指摘した部分が的外れなことが多い
28. 😎保守性を考慮した指 摘をしてくれる ※この場合は残念なが らすでに考慮済み 👊試してみた結果 / よかった点 とても参考になった部分もいくつか
29. 😎予想以上にPRの概要が細かく 書かれる。 レビュワーにとってめちゃくちゃ 嬉しい 👊試してみた結果 / よかった点 とても参考になった部分もいくつか
30. 😎UIの改善提案までやって くれてる...! 👊試してみた結果 / よかった点 とても参考になった部分もいくつか
31. 必要な費⽤ • PR-AgentのOSS利⽤：0円 • GitHubActionsの費⽤：（場合によりけり） • Amazon Bedrock(Claude 3 Haiku)の費⽤ ◦ ⼊⼒トークン 1,000 個あたり 0.00025 USD ◦ 出⼒トークン 1,000 個あたり 0.00125 USD 👊試してみた結果 / コストが低い
32. コード差分 ＼ コマンド /describe /review /improve 合計 +0 -41 $0.000852 0.12円 $0.000916 0.13円 $0.005358 0.76円 1.01円 +251 -0 $0.0014 0.20円 $0.00139 0.20円 $0.00130 0.18円 0.58円 +600 -61 $0.0053 0.75円 $0.0047 0.67円 $0.01368 1.94円 3.36円 👊試してみた結果 / コストが低い 必要な費⽤（Amazon Bedrock(Claude 3 Haiku)）
33. • PR-Agentを使うことで、⽣成AIを利⽤しPRの概要⾃動⼊⼒‧⾃動コード レビューを⾏うことができた • AWS‧GitHubActions上で動作できるため、既にこれらを利⽤している場 合導⼊コストがとても⼩さい • 運⽤コストはSaaSに⽐べて低い • 現状ではいくつか課題がある ◦ ⽇本語で出⼒されない場合がある ▪ プロンプトの改善で解消される可能性あり ◦ 設定をチューニングしにくい ◦ 指摘がイマイチ... ▪ コードレビューの指摘はむやみに信⽤せず、参考程度に留めるべき 📚まとめ
34. • 差分が多いファイルはignoreすると無駄なトークンを消費しない ◦ package-lock.json ◦ **/package-lock.json • PR-Agentの内部実装ではlitellmを利⽤している ◦ このライブラリで対応しているモデルが多いので結果的にPR-Agentが利⽤で きるモデルも多くなっている？ • drop_params=true • モデルに送られているプロンプトはどんな感じ？ ◦ （次ページ） 📚Appendix
35. • Publicリポジトリの場合 ”@CodiumAI-Agent” に メンション⾶ばすだけで 実⾏してくれる • 他には設定不要 📚Appendix
36. • 適当にやっちゃうと運⽤困るかもしれない ◦ PR-Agentが指摘した部分の可否を誰がどう判断するか 📚Appendix
37. You are PR-Reviewer, a language model designed to review a Git Pull Request (PR). Your task is to provide a full description for the PR content - files walkthrough, title, type, and description. - Focus on the new PR code (lines starting with '+'). - Keep in mind that the 'Previous title', 'Previous description' and 'Commit messages' sections may be partial, simplistic, non-informative or out of date. Hence, compare them to the PR diff code, and use them only as a reference. - The generated title and description should prioritize the most significant changes. - If needed, each YAML output should be in block scalar indicator ('|-') - When quoting variables or names from the code, use backticks (`) instead of single quote ('). Extra instructions from the user: ===== {ユーザーが指定したプロンプト} ===== …（省略） 📚モデルに送られているプロンプト
38. 😎最後に マッハチームの紹介
39. 😈プロジェクト⽴ち上げの課題 チーム
 ビルディング 
 顧客の
 意思決定 
 が遅い
 PJ概要 
 の理解
 顧客の
 事業理解 
 新しい技術の キャッチアッ プ
 アサイン 
 調整
 プリセールス時 と話しが違う 
 🤔
40. マッハチームの特徴 40 プロジェクトの開始から 初速をマッハ に そして MVPを早く提供 し 「思ってたものと違った」 を防ぐ。 進捗 時間 従 来 マッハチーム
41. マッハチームの特徴 ✔ 固定チーム → チームビルディングが不要 ✔ 技術スタックをチームで 標準化・パッケージ化 　 → 最小限の時間で環境構築を行える 　 → PJ毎の技術的なキャッチアップが最小限に抑えられる ✔ プリセールスから開発まで一貫 して担当 　 → PJ概要を全て把握した状態でスタートできる ✔ 数多くプロダクトを開発してきた経験 　 → 顧客が意思決定に迷うポイントを先回り してサポート
42. 一緒に働く仲間を大募集中 ...!
43. 技術 採⽤技術スタック ⾔語 TypeScript(JavaScript) フロントエンド React.js, Next.js, Flutter CI/CD GitHub Actions 開発プラットフォーム GitHub IaC AWS CDK コンピューティング Lambda, ECS on Fargate データベース DynamoDB, Aurora 認証基盤 LINE認証、Auth0 その他（AWS関連） API Gateway, ALB, WAF, SQS, SNS, EventBridge, AppSync, etc… デザイン Figma 使⽤する技術スタック
44. 44 モダンな技術でフルスタック開発に挑戦したい • 2~3名のエンジニアで、フロントエンド、サーバーサイド、インフラ全て 担当 プリセールスからプロダクトの方向性を提案したい • エンジニアがプリセールスも顧客折衝もガンガン進めていきます • アジャイル開発が多く提案しやすいです 0から1を圧倒的なスピードで立ち上げたい • 2~6人月程度の案件サイズがボリュームゾーンです • 様々なお客様を通して、マッハで経験できます マッハチームはこんなエンジニアにおすすめ
45. 45 クラスメソッドはこんな人におすすめ 自由に仕事をしたい人 仕事中にブログを書きたい人（※） AWSのスキルを限界まで高めたい人
46. 気になった方は カジュアル面談で話しましょう
47. ありがとうございました 🫠おわり