バグチケットをAIで全自動解決する生成AIに人の仕事を任せきるために必要だったこと

by GO Inc. dev

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© GO Inc. ● いろんな開発があるが、特にツールの行き来の激しい、開発環境におけるテスト時のバグチケットの消化の前段を初期スコープにした ● バグチケットの調査・設計自動化ツール「Bancho」を考えた 1. バグの報告検知: slack・メール通知など→自動検知・即時振り分け 2. 原因の特定・情報収集: どこで起きたか人が調べる→AIが特定する 3. 設計: 実装するAIに指示出しする→ 自動でGitHubのissue作成解決したい課題 : バグチケットの消化 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© GO Inc. 大変だったこと１：本番と開発間の通信の制約がある ● 大変だったこと ○ 最初は生成AIのエージェントをどこで動かすか意識せずに開発を進めていた ○ 生成AIをサーバで動かそうとした時に、開発環境の生成AIから本番のログにアクセスするのはNGだと指摘された ■ 本番のログには個人情報が入る可能性がある ○ JiraのWebhookを、開発・本番のどちらかに流す必要がある ● そこで ○ 開発環境にサーバーをおき、Jiraの特定のスペースからのみWebhookを飛ばす ● ただ ○ 開発環境でのテストで発生するバグの自動消化には役立ったが、今後本番障害でも使おうと思った時に、制約があることがわかった。 12

Slide 13

Slide 13 text

© GO Inc. 大変だったこと２：個人の AI活用から、 AIに任せるための権限管理 13 ● 前提 ○ 開発者のPCからGitHub MCPや、Grafana MCPは利用できる ○ ソースコードとアプリのログ参照権限は、慣例的にセットで付与される ○ つまり、開発者のPCからは人間の権限ベースでMCPを利用すればいい（Oauth） ● 大変だったこと ○ サーバで生成AIにMCPを使わせる場合は、別途権限付与方法を考える必要がある ● そこで ○ Bancho専用の各種APIトークンを発行を工夫する ○ レポジトリへのissue作成と、そのレポジトリで実現される機能のログへの参照権限は、ある程度同一ロールにする

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© GO Inc. 15 ● 最終形でやりたいこと ○ JIRAのwebhookだけでなく、Slackから自然言語で依頼を受けられるようにする ○ Slackに自律的に報告できたり、Jiraのコメントに調査結果を書けるようにする　　　技術的には簡単。だが、セキュリティルールに従って安全に作るのは難しい ● 個人情報が開発環境に入ってはいけない・publicのSlackやJiraに書き込んではいけない ● 与えられた権限以上の情報が見えないようにしないといけない。 ○ たとえ生成AIが最強の権限を持っていたとしても、それを人間が乗っ取って昇格してはいけない。 ○ 例： Aサービスのエンジニアは、Banchoをどんなに使っても、Bサービスのログは見えない Banchoの最終系

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© GO Inc. 作ってみての所感 ● AIがどの程度いろいろなところから正確な情報を収集してくれるかは、作ってみながら精度をみていくしかなさそう ○ 成果が出る・でないに関わらず、なんでもやらせてもらえてありがたい ● 実装はほとんどAIが作ってくれるので、やることはコミュニケーションと検証（大変） ○ 「技術的にできる」と「安全に生成AIを運用する」のギャップ ● いざやってみると、できることはたくさん思いつく。が、本当に使われるか・いいものになれるかは作ってみないとわからない。 ○ 推進する側が気持ちを全面に出して頑張れば、きっといい未来がやってくるはず 17