Datadog CI Visibilityを用いてGitHub ActionsのFlaky Testを監視してみた / Monitoring Flaky Tests in GitHub Actions Using Datadog CI Visibility

Japan Datadog User Group Meetup#13@東京
https://datadog-jp.connpass.com/event/368663/

1. Datadog CI Visibilityを用いて GitHub ActionsのFlaky Testを監視してみた 株式会社Goals 今村 光希
2. 2 01 02 03 はじめに 自己紹介、本発表のゴール 04 さいごに 自社紹介 実際に使った所感 弊社での使い方、今後チャレンジしたいこと なぜ機能を使い始めたか 利用開始のきっかけ、設定について
3. 3 01 02 03 はじめに 自己紹介、本発表のゴール 04 さいごに 自社紹介 実際に使った所感 弊社での使い方、今後チャレンジしたいこと なぜ機能を使い始めたか 利用開始のきっかけ、設定について
4. 自己紹介 会社：株式会社Goals 職域：SRE/インフラエンジニア 所属：SRE Mgr 好きな著名人：”ジャパネットたかた”の”髙田明”元社長 X（旧 Twitter）アカウント：@imamura_ko_0314 （本日の資料も後日投稿予定ですので、フォローお願いいたします！！） 今村 光希 Kohki Imamura 4
5. はじめに 5 Datadogをご存知の方
6. はじめに 6 CI Visibility機能を、名前だけでもご存知の方
7. はじめに 7 実際にCI Visibility機能を使ったことのある方 OR 強い興味関心を持っている方
8. はじめに 8 実際にCI Visibility機能を使ったことのある方 OR 強い興味関心を持っている方
9. はじめに 9 CI Visibility機能を、名前だけでもご存知の方 ここの人数を 増やしにきました！
10. 本発表のゴール 10 お伝えしたいこと • CI Visibility機能の使い勝手 • 初めて機能を使ったユーザーの率直な感想 お伝えしないこと • 機能の詳細な設定方法など
11. 1 1 01 02 03 はじめに 自己紹介、本発表のゴール 04 さいごに 自社紹介 実際に使った所感 弊社での使い方、今後チャレンジしたいこと なぜ機能を使い始めたか 利用開始のきっかけ、設定について
12. 利用開始のきっかけ 12 某日... 社内のエンジニア用雑談Slackチャンネルにて
13. 利用開始のきっかけ 13
14. 利用開始のきっかけ 14 株式会社タイミー様のブログ さよなら Flaky Test！Devinと共に実現する、CI安定化への道 https://tech.timee.co.jp/entry/2025/07/16/100000
15. 利用開始のきっかけ 15 弊社が抱えていた悩み 利用ツール GitHub Actions経由のCIに Flaky Testが紛れている ↓ 参考記事で対応した課題と 弊社の悩みが一致 Datadog ＋ Devin ↓ 参考記事で利用したツールと 弊社で利用中のツールが一致
16. 利用開始のきっかけ 16 弊社が抱えていた悩み 利用ツール GitHub Actions経由のCIに Flaky Testが紛れている ↓ 参考記事で対応した課題と 弊社の悩みが一致 Datadog ＋ Devin ↓ 参考記事で利用したツールと 弊社で利用中のツールが一致 新しく機能使うにも 設定大変かな...
17. 設定について 17 同某日、数時間後...
18. 設定について 18
19. 設定について 19 即セットアップ完了!!
20. 設定について 20 サンプル環境のスクリーンショット ・画面左：CI Healthリスト ・画面右：Pipeline Executionsリスト
21. 設定について 21 サンプル環境のスクリーンショット
22. 設定について 22 セットアップしてみて良かった点 （なぜ即セットアップ完了できたか？） • セットアップ手順が容易 → CI Visibilityだけなら数分で可能だった ◦ 1. GitHubとIntegration連携（既に設定済みだった） ◦ 2. CI Visibilityのセットアップ画面上から 　対象のGitHubアカウントをトグルボタンで有効化 • CI Visibilityの有効化範囲がリポジトリ単位で設定可能 → スモールスタートが可能だった
23. 設定について 23
24. 24 01 02 03 はじめに 自己紹介、本発表のゴール 04 さいごに 自社紹介 実際に使った所感 弊社での使い方、今後チャレンジしたいこと なぜ機能を使い始めたか 利用開始のきっかけ、設定について
25. 弊社での使い方 25 参考記事の場合 弊社の場合 Test Optimizationを利用 ↓ CI（GitHub Actions）の Flaky Testを自動検出 CI Visibilityと Log Explorerを組み合わせ ↓ 自動検出まではできないが 抽出用のクエリ作成し 定期的に確認
26. 弊社での使い方 26 なぜTest Optimizationまで利用しなかったか • 弊社のニーズに合いそうか試してみたい ...という気持ちが強かった • 監視したいFlaky Testの母数も多くなかった スコープを狭めて、スモールスタートすることに！
27. 弊社での使い方 27 サンプル環境のスクリーンショット
28. 今後チャレンジしたいこと 28 スモールスタートは開始できたので 利用を拡大していきたい • Test Optimizationも利用したい → 特にFlaky Test Managementを使いたい！ • Flaky Testの自動修正まで対応したい → Devinを組み合わせたい！
29. 29 01 02 03 04 さいごに 自社紹介 実際に使った所感 弊社での使い方、今後チャレンジしたいこと なぜ機能を使い始めたか 利用開始のきっかけ、設定について はじめに 自己紹介、本発表のゴール
30. HANZOのこと Goalsのことがわかるコンテンツ 30 会社のこと 会社説明資料 Goals note コンセプト動画 Tech Blog https://zenn.dev/p/goals_techblog https://youtu.be/rPNqluLrYBA?feature=shared https://note.com/goals https://speakerdeck.com/sazakitakashi/g oalshui-she-shao-jie-zi-liao
31. 産業の変革にチャレンジする仲間を 募集しています！ 最後までご覧いただきありがとうございました。 少しでもGoalsにご興味を持っていただけた方は、ぜひお気軽にご連絡ください！ すぐのご転職をお考えでない方もカジュアル面談のお申し込みを募集しています。 Goals求人一覧はこちら https://hrmos.co/pages/goals/jobs 31