不具合issueを撲滅！ SREsとQAチームの連携事例のご紹介

https://3-shake.connpass.com/event/407290/ の登壇資料です

Transcript

1. 不具合issueを撲滅！ SREsとQAチームの連携事 例のご紹介 株式会社MIXI 井上 翔太 ©MIXI
2. 自己紹介 名前：しょっさん X（旧: Twitter）/ mixi2：@syossan27 所属：株式会社 MIXI 活動： • SRE Kaigi 実行委員長 • SRE Magazine 編集長 • ゆるSRE勉強会 共同運営 • 一般社団法人 SREコネクト 代表理事 • クラウドネイティブ会議 Co-chair • Podcast『縁側テックトーク』 • YouTube『酒とキャリアとエンジニア』 ©MIXI
3. 本、発売します！ ©MIXI
4. 今回お伝えしたいこと ©MIXI
5. 今回お伝えしたいこと • SREsとQAは相性ばっちり！ • コラボレーションは"広がる" ©MIXI
6. 最初に質問 ©MIXI
7. SREをやっている方でQAと 一緒に何かやってるよって方、挙手！ ©MIXI
8. 3年前にQAとの取り組みを発表しまし た ©MIXI
9. ちらっと振り返り SRE本で定義されている"信頼性"は もともと工業製品における品質保証に関するコンテクストで語られている 信頼性 = 求められる機能 × 定められた条件 × 定められた期間 信頼性における一要素である「求められる機能」、この「機能がキチンと求められる状態に なっているのか？」を担保してくれるのがQA（品質保証） である。 ※ つまり、QAに対してSREのプラクティスを発揮することが、信頼性向上に繋がるのでは！ ©MIXI
10. 何をしたか？ ©MIXI
11. 不具合issueが溜まっていた状況 あるあるではあるが、機能開発に追われており、不具合issueが溜まりつつあったが、 優先度の高いissue以外がなおざりになっていた。 そんな中、QAチームからこんな相談が ©MIXI
12. 不具合issueが溜まっていた状況 あるあるではあるが、機能開発に追われており、不具合issueが溜まりつつあったが、 優先度の高いissue以外がなおざりになっていた。 そんな中、QAチームからこんな相談が 『ODC分析 』という品質保証のフレームワークを用いて、プロダ < クトに特化した最強レビュアーAI を運用できたらステキなのでや りませんか！？ ©MIXI
13. 不具合issueが溜まっていた状況 あるあるではあるが、機能開発に追われており、不具合issueが溜まりつつあったが、 優先度の高いissue以外がなおざりになっていた。 そんな中、QAチームからこんな相談が 『ODC分析 』という品質保証のフレームワークを用いて、プロダ < クトに特化した最強レビュアーAI を運用できたらステキなのでや りませんか！？ ＿人人人人人人人人人人人人人＿ ＞ コラボレーションの発生 ＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣ ©MIXI
14. ODC分析とは？ IBM が提唱した不具合の分類手法で、 • どのような不具合か？ • どのような条件でおきるか？ • どのような影響範囲か？ • どこで混入したか？ の観点で分類・分析し、プロセス改善に役立てる。 今回は＋αとして、 • 守るべき不変条件 • 再発しやすい条件 • どんな変更だったか？ • レビュー時に確認すべきこと • 不具合に関わる機能・業務領域や技術的 • 推奨するテスト • 予防策 な話題 • どのレイヤーに修正が入ったか？ ©MIXI
15. 何を作ったか？ ©MIXI
16. 全体のフロー 不具合issueの検知 AIによるODC分析 週次分析 ナレッジ・レビュー観点の更 新 分析結果を人向け・管理向 けに分けて作成する Claude Skillを用いて データの正規化・管理 ©MIXI
17. 全体のフロー SREs 不具合issueの検知 QA AIによるODC分析 週次分析 ナレッジ・レビュー観点の更 新 分析結果を人向け・管理向 けに分けて作成する Claude Skillを用いて データの正規化・管理 構成をどのようにするか擦り合わせし、SREsとQAで分業して作成。 大事なのは分類・分析の結果を、次のサイクルに活かすという考え方。 ©MIXI
18. 不具合issueの検知 不具合issueレポート テンプレートを用意 issue作成するとbugラベルが付く 定期スケジュールでbugラベルissueを AIがチェック AIで修正可能 AIによる質問の回答によって は修正可能 修正PRの作成 人間が質問に回答 AIでは修正不可 ©MIXI
19. 不具合issueの検知 Issue情報の取得 問題の分析, コードベース調査 ナレッジベース参照 ナレッジパターンに合わせた ナレッジの参照 類似issueの参照 共通のレビュー観点 ©MIXI
20. ODC分析 ODC分析未完了の 不具合issueレポートを収集 AI（Vertex AI経由のSonnet）で分析開始 issue本文とコメントをAIがチェック ODC分析の開始 人間向けの分析結果を出力 管理向けの分析結果を出力 issueに分析済みラベルの付 与 ©MIXI
21. この先はQAのターン！ ©MIXI
22. この先はQAのターン！ 仕組みづくりのアドバイスはしましたが、 すべてQAチームが作成しました ©MIXI
23. Claude Code Skillを用いてデータの正規化・管理 Claude Codeで、管理向け分析結果を取得 Claude Code Skillで 表記揺れの修正など、整形する 整形が終わればTSVに変換 Spread Sheetで確認できる形に 整えたデータをもとに、次の週次分析 へ ©MIXI
24. 週次分析 QAチームでSpread Sheetを確認し、 ナレッジとして取り入れられるケースを選択 Claude Code Skillで TSVからknowledge filesを生成 次のAIによる不具合issueのチェック 及び、修正が改善されていく 人の目を通すことで、AIだけでなく人も知見を獲得でき る ©MIXI
25. やってみた結果 ©MIXI
26. 結果 分析数（3/1〜10/25） • ODC分析：122件 • PR作成数：30件 • マージ数：4件 • 人間の手直しマージ数：6件 • 未チェックPR数：20件 ©MIXI
27. 結果 分析数（3/1〜10/25） • ODC分析：122件 • PR作成数：30件 • マージ数：4件 • 人間の手直しマージ数：6件 • 未チェックPR数：20件 PRが作成されるからといって、ノールックマージはできないので 結局リソース不足の解決に寄与できていないのが課題感 ©MIXI
28. 課題への対応 • レビューの障壁をとことん下げる CodeRabbitの導入＆最適化を進めている 自動リグレッションテストの拡大 PRの鮮度チェック＆通知 ©MIXI
29. 課題への対応 • レビューの障壁をとことん下げる CodeRabbitの導入＆最適化を進めている 自動リグレッションテストの拡大 PRの鮮度チェック＆通知 • AIチェックの精度の甘さ PRの実装が甘く、人間の手が必要になっているので コンテキストの拡充、自動リグレッションテスト・レビュー による修正ループの作り込みなどが必要 ©MIXI
30. 課題への対応 • レビューの障壁をとことん下げる CodeRabbitの導入＆最適化を進めている 自動リグレッションテストの拡大 PRの鮮度チェック＆通知 • AIチェックの精度の甘さ PRの実装が甘く、人間の手が必要になっているので コンテキストの拡充、自動リグレッションテスト・レビュー による修正ループの作り込みなどが必要 サイドプロジェクトなのでリソースが・・・ ©MIXI
31. コラボレーションの拡大 • やっている範囲を広げて、コラボレーションを生みやすい状況を作 る SREsはさまざまな分野に手を広げやすい 手を広げていると、いろいろなチャンスが！ （今回も「AIやりましょうよ！」の旗振りをやっていた） • 常に「相談受け付けてます！」の雰囲気を出す 普段から忙しくしていると、「一緒にやりたいことがあるけど声 かけづらい・・・」と思われる リソースの空きは作っておくと、すぐにやりましょう！になれる ©MIXI
32. SREs × QAの連携事例でした！ ご清聴ありがとうございました ©MIXI