Datadog CI Visibilityを用いてGitHub ActionsのFlaky Testを監視してみた / Monitoring Flaky Tests in GitHub Actions Using Datadog CI Visibility

by imamura-ko-0314

Embed

Start on current slide

Slide 1

Slide 1 text

Datadog CI Visibilityを用いて GitHub ActionsのFlaky Testを監視してみた株式会社Goals 今村光希

Slide 2

Slide 2 text

2 01 02 03 はじめに自己紹介、本発表のゴール 04 さいごに自社紹介実際に使った所感弊社での使い方、今後チャレンジしたいことなぜ機能を使い始めたか利用開始のきっかけ、設定について

Slide 3

Slide 3 text

3 01 02 03 はじめに自己紹介、本発表のゴール 04 さいごに自社紹介実際に使った所感弊社での使い方、今後チャレンジしたいことなぜ機能を使い始めたか利用開始のきっかけ、設定について

Slide 4

Slide 4 text

自己紹介会社：株式会社Goals 職域：SRE/インフラエンジニア所属：SRE Mgr 好きな著名人：”ジャパネットたかた”の”髙田明”元社長 X（旧 Twitter）アカウント：@imamura_ko_0314 （本日の資料も後日投稿予定ですので、フォローお願いいたします！！）今村光希 Kohki Imamura 4

Slide 5

Slide 5 text

はじめに 5 Datadogをご存知の方

Slide 6

Slide 6 text

はじめに 6 CI Visibility機能を、名前だけでもご存知の方

Slide 7

Slide 7 text

はじめに 7 実際にCI Visibility機能を使ったことのある方 OR 強い興味関心を持っている方

Slide 8

Slide 8 text

はじめに 8 実際にCI Visibility機能を使ったことのある方 OR 強い興味関心を持っている方

Slide 9

Slide 9 text

はじめに 9 CI Visibility機能を、名前だけでもご存知の方ここの人数を増やしにきました！

Slide 10

Slide 10 text

本発表のゴール 10 お伝えしたいこと ● CI Visibility機能の使い勝手 ● 初めて機能を使ったユーザーの率直な感想お伝えしないこと ● 機能の詳細な設定方法など

Slide 11

Slide 11 text

1 1 01 02 03 はじめに自己紹介、本発表のゴール 04 さいごに自社紹介実際に使った所感弊社での使い方、今後チャレンジしたいことなぜ機能を使い始めたか利用開始のきっかけ、設定について

Slide 12

Slide 12 text

利用開始のきっかけ 12 某日... 社内のエンジニア用雑談Slackチャンネルにて

Slide 13

Slide 13 text

利用開始のきっかけ 13

Slide 14

Slide 14 text

利用開始のきっかけ 14 株式会社タイミー様のブログさよなら Flaky Test！Devinと共に実現する、CI安定化への道 https://tech.timee.co.jp/entry/2025/07/16/100000

Slide 15

Slide 15 text

利用開始のきっかけ 15 弊社が抱えていた悩み利用ツール GitHub Actions経由のCIに Flaky Testが紛れている ↓ 参考記事で対応した課題と弊社の悩みが一致 Datadog ＋ Devin ↓ 参考記事で利用したツールと弊社で利用中のツールが一致

Slide 16

Slide 16 text

利用開始のきっかけ 16 弊社が抱えていた悩み利用ツール GitHub Actions経由のCIに Flaky Testが紛れている ↓ 参考記事で対応した課題と弊社の悩みが一致 Datadog ＋ Devin ↓ 参考記事で利用したツールと弊社で利用中のツールが一致新しく機能使うにも設定大変かな...

Slide 17

Slide 17 text

設定について 17 同某日、数時間後...

Slide 18

Slide 18 text

設定について 18

Slide 19

Slide 19 text

設定について 19 即セットアップ完了!!

Slide 20

Slide 20 text

設定について 20 サンプル環境のスクリーンショット・画面左：CI Healthリスト・画面右：Pipeline Executionsリスト

Slide 21

Slide 21 text

設定について 21 サンプル環境のスクリーンショット

Slide 22

Slide 22 text

設定について 22 セットアップしてみて良かった点（なぜ即セットアップ完了できたか？） ● セットアップ手順が容易 → CI Visibilityだけなら数分で可能だった ○ 1. GitHubとIntegration連携（既に設定済みだった） ○ 2. CI Visibilityのセットアップ画面上から　対象のGitHubアカウントをトグルボタンで有効化 ● CI Visibilityの有効化範囲がリポジトリ単位で設定可能 → スモールスタートが可能だった

Slide 23

Slide 23 text

設定について 23

Slide 24

Slide 24 text

24 01 02 03 はじめに自己紹介、本発表のゴール 04 さいごに自社紹介実際に使った所感弊社での使い方、今後チャレンジしたいことなぜ機能を使い始めたか利用開始のきっかけ、設定について

Slide 25

Slide 25 text

弊社での使い方 25 参考記事の場合弊社の場合 Test Optimizationを利用 ↓ CI（GitHub Actions）の Flaky Testを自動検出 CI Visibilityと Log Explorerを組み合わせ ↓ 自動検出まではできないが抽出用のクエリ作成し定期的に確認

Slide 26

Slide 26 text

弊社での使い方 26 なぜTest Optimizationまで利用しなかったか ● 弊社のニーズに合いそうか試してみたい ...という気持ちが強かった ● 監視したいFlaky Testの母数も多くなかったスコープを狭めて、スモールスタートすることに！

Slide 27

Slide 27 text

弊社での使い方 27 サンプル環境のスクリーンショット

Slide 28

Slide 28 text

今後チャレンジしたいこと 28 スモールスタートは開始できたので利用を拡大していきたい ● Test Optimizationも利用したい → 特にFlaky Test Managementを使いたい！ ● Flaky Testの自動修正まで対応したい → Devinを組み合わせたい！

Slide 29

Slide 29 text

29 01 02 03 04 さいごに自社紹介実際に使った所感弊社での使い方、今後チャレンジしたいことなぜ機能を使い始めたか利用開始のきっかけ、設定についてはじめに自己紹介、本発表のゴール

Slide 30

Slide 30 text

HANZOのこと Goalsのことがわかるコンテンツ 30 会社のこと会社説明資料 Goals note コンセプト動画 Tech Blog https://zenn.dev/p/goals_techblog https://youtu.be/rPNqluLrYBA?feature=shared https://note.com/goals https://speakerdeck.com/sazakitakashi/g oalshui-she-shao-jie-zi-liao

Slide 31

Slide 31 text

産業の変革にチャレンジする仲間を募集しています！最後までご覧いただきありがとうございました。少しでもGoalsにご興味を持っていただけた方は、ぜひお気軽にご連絡ください！すぐのご転職をお考えでない方もカジュアル面談のお申し込みを募集しています。 Goals求人一覧はこちら https://hrmos.co/pages/goals/jobs 31