AWS Glueの監視をJob Monitoringに移行した話

Transcript

1. Lightning Talk — Japan Datadog User Group Meetup #18 @東京 AWS Glue の監視を Job Monitoring に 移行した話 〜 機能リクエストしたら 爆速対応してもらえた件 〜 DATADOG USER GROUP MEETUP #18 大間 俊樹 (tskoma3141) 株式会社ジンズ / クラウドエンジニア
2. 自己紹介 🙋 大間 俊樹（tskoma3141） 🏢 株式会社ジンズ 💻 クラウドエンジニア ＋ちょっとだけデータエンジニア ☕ コーヒーと日本酒と温泉 ABOUT ME Japan Datadog User Group Meetup #18 @東京 2 / 9
3. そもそも AWS Glue とは？ 一言でいうと フルマネージドな ETL サービス ETL = Extract（取り出す）/ Transform（変換する）/ Load（取り込む） 。"Glue（糊）" のようにAWSのデータ同士を繋ぐ 📚 データカタログ クローラーがデータを走査し、メタデータ（スキ ーマ）を自動管理 ⚙️ ETL ジョブ Python / Spark でデータを加工。サーバーレス で実行される 🖱️ ビジュアル ETL GUI（Glue Studio）でノーコードでもジョブを作 成できる 👉 つまり今日の話は、この Glue ジョブの実行状況をどう監視するか という話 PREREQUISITE Japan Datadog User Group Meetup #18 @東京 3 / 9
4. 今日話すこと 📦 従来の AWS Glue Integration でできていたこと 😤 パイプラインが複雑になるにつれて出てきた贅沢な悩み 🚀 Job Monitoring で何が変わったか 💬 機能リクエストを出したら爆速で対応してもらえた話 AGENDA Japan Datadog User Group Meetup #18 @東京 4 / 9
5. 従来の AWS Glue Integration メトリクスは取れる。でも 手作りの汎用ダッシュボードで、タイムライン・エラー傾向・遅延までは追いきれない… ✓ インフラメトリクス収集 ✓ ジョブ成否の監視 ✗ 実行タイムライン ✗ 遅延の検知 手作りの汎用ダッシュボード（成功/失敗ジョブ数・Monitor一覧） BEFORE Japan Datadog User Group Meetup #18 @東京 5 / 9
6. Job Monitoring なら、こう見える データジョブ専用UIで、ジョブ一覧・実行回数・失敗率・実行時間がこの1画面に。 失敗率（Failure Rate）や実行時間の変化（% Change）が並び、異常なジョブがすぐ目に入る ／ AWS Glue 連携は PREVIEW （2026/6/17 時点） AFTER Japan Datadog User Group Meetup #18 @東京 6 / 9
7. 1回の実行をトレースとして深掘り ジョブの実行が Flame Graph / Span で可視化。どのステージで詰まったかまで追える。 🗂️ 実行履歴の比較 ⏱️ 遅延の自動検知 🔍 ステージ単位の深掘り 🌐 パイプライン全体像 ジョブ実行が Flame Graph / Span として可視化される JOB MONITORING — DEEP DIVE Japan Datadog User Group Meetup #18 @東京 7 / 9
8. 機能リクエストしたら爆速対応してもらえた BEFORE ENV が glue://aws/… AFTER ENV が pro に！フィルタも追加 💡 Preview 段階だからこそフィードバックが反映されやすかったのかも。要望は出してみる価値あり FEATURE REQUEST STORY env タグが取得できない すべて glue://aws/<account> として表示され、prd / stg の区別 がつかなかった サポートへリクエスト 「Glue リソースのタグを参照して prd / stg の env タグを付 けたい」と要望 対応・リリース！🎉 タグから env を読み取り、正しく反映。env フィルタも使える ように Japan Datadog User Group Meetup #18 @東京 8 / 9 1 2 3
9. まとめ Glue Integration はメトリクス収集の基盤として有用 Job Monitoring でデータエンジニアリングに特化した監視が可能に 実行履歴・遅延検知・エラー傾向が直感的に把握できる 機能リクエストへの対応が速い — サポートは信頼できる Datadog を使っていて「こうなってほしい」があれば 遠慮なくリクエストしてみましょう 🙌 SUMMARY Japan Datadog User Group Meetup #18 @東京 9 / 9