DMM TVを支えるDatadog

2025/09/25(木)
Datadog セミナー：Infra・APM・Logs をどう使う？Datadog ユーザー活用事例セッション での発表資料

https://www.datadoghq.com/ja/event/casestudies-seminar202509/

Transcript

1. © DMM © DMM CONFIDENTIAL DMM TV を支える Datadog 合同会社DMM.com 片岡 歩夢 2025年9月25日
2. © DMM 自己紹介 名前 - 片岡歩夢 所属 - 合同会社DMM.com メディア基盤開発部 SRE 主な職務 - DMM TV プラットフォームの開発・運用 2 Twitter: @shoumoji LinkedIn: https://www.linkedin.com/in/ayumu-kataok a-453a7b254/
3. © DMM 本日のアジェンダ 1. DMM TVについて 2. DatadogでどのようにDMM TVを安定運用しているか a. 日常監視について i. Datadogでの確認項目 ii. 目的特化Dashboardの活用 b. 特別監視について i. 実施意図と実施タイミング ii. 特別監視に便利なDatadog Notebook 3. まとめ 3
4. © DMM 推しが見つかる。世界が変わる。 • 2022 年 12 月リリース • 動画配信サービス ◦ 配信コンテンツ 19 万本以上 ※1 ◦ アニメ、映画、2.5 次元作品、 ショートドラマ、etc… • DMM プレミアムに登録することで見放題 ◦ 128 万人の有料会員 数 ※2 ※1：2025 年 3 月時点 ※2：2025 年 4 月時点 リリースしてから 成長し続けているサービス DMM TV について 4
5. © DMM Datadog でどのように DMM TV を安定運用しているのか
6. © DMM 6 日常監視 特別監視 CP監視 日常監視 ライブ配信日 キャンペーン期間終了 キャンペーン期間開始 ライブ監視 監視について: SREの対応イメージ
7. © DMM 7 日常監視では、イレギュラーな状態 を探す • 普段出ないエラーログがやけに多い • 普段よりも異常にリソースを食うPodがある • DBのp95 Latencyが普段よりも悪い…　等 日常監視: Datadogでの確認方針
8. © DMM 8 • 目的 • メトリクスの短期的な変化を見る • 様々なコンポーネントの大きな変化を見る • 方針 • 最低限必要なリソースを広く見る • k8sやGCPのメトリクスを集めた overview Dashboardを使用 • 直前のメトリクスを見る • 時間軸としては2, 3日程度 日常監視: Datadogでの確認方針 (Daily)
9. © DMM 日常監視: Datadogでの確認項目 9 ❖ Daily (15分程度) ➢ overview (2~3日間) ▪ APM/RUM (エラー数) ▪ Pods ▪ Memorystore for Redis ▪ Spanner ▪ Cloud NAT ▪ kube-dns ▪ Service Mesh ▪ K8s Node ▪ Load Balancer ❖ Weekly (30分程度) ➢ overview (1~2週間) ➢ APM (全データ) ➢ Logs (Error以上)
10. © DMM 日常監視: Datadogでの確認項目 10 ❖ Daily (15分程度) ➢ overview (2~3日間) ▪ APM/RUM (エラー数) ▪ Pods ▪ Memorystore for Redis ▪ Spanner ▪ Cloud NAT ▪ kube-dns ▪ Service Mesh ▪ K8s Node ▪ Load Balancer ❖ Weekly (30分程度) ➢ overview (1~2週間) ➢ APM (全データ) ➢ Logs (Error以上)
11. © DMM 日常監視: Datadogでの確認項目 11 ❖ Daily (15分程度) ➢ overview (2~3日間) ▪ APM/RUM (エラー数) ▪ Pods ▪ Memorystore for Redis ▪ Spanner ▪ Cloud NAT ▪ kube-dns ▪ Service Mesh ▪ K8s Node ▪ Load Balancer ❖ Weekly (30分程度) ➢ overview (1~2週間) ➢ APM (全データ) ➢ Logs (Error以上)
12. © DMM 日常監視: Datadogでの確認項目 (APM/RUM) 12
13. © DMM 日常監視: Datadogでの確認項目 13 ❖ Daily (15分程度) ➢ overview (2~3日間) ▪ APM/RUM (エラー数) ▪ Pods ▪ Memorystore for Redis ▪ Spanner ▪ Cloud NAT ▪ kube-dns ▪ Service Mesh ▪ K8s Node ▪ Load Balancer ❖ Weekly (30分程度) ➢ overview (1~2週間) ➢ APM (全データ) ➢ Logs (Error以上)
14. © DMM 日常監視: Datadogでの確認項目 (Pods) 14
15. © DMM 日常監視: Datadogでの確認項目 (Pods) 15 CI/CD (ArgoCD) で Datadog API に Deploy Event を送信
16. © DMM 日常監視: Datadogでの確認項目 16 ❖ Daily (15分程度) ➢ overview (2~3日間) ▪ APM/RUM (エラー数) ▪ Pods ▪ Memorystore for Redis ▪ Spanner ▪ Cloud NAT ▪ kube-dns ▪ Service Mesh ▪ K8s Node ▪ Load Balancer ❖ Weekly (30分程度) ➢ overview (1~2週間) ➢ APM (全データ) ➢ Logs (Error以上)
17. © DMM 日常監視: Datadogでの確認項目 (kube-dns) 17
18. © DMM 日常監視: Datadogでの確認項目 (kube-dns) 18 異常値を表示する Investigate Anomaly 機能
19. © DMM 19 日常監視: Datadogでの確認方針 (Weekly) • 目的 • メトリクスの中長期的な変化を見る • 個々のコンポーネントの細かい変化を見る • 方針 • 特定のリソースを深く見る • 特定のリソースをAPMで深堀り • 長い時間軸でメトリクスを見る • 時間軸としては1週間~1ヶ月程度
20. © DMM 日常監視: Datadogでの確認項目 20 ❖ Daily (15分程度) ➢ overview (2~3日間) ▪ APM/RUM (エラー数) ▪ Pods ▪ Memorystore for Redis ▪ Spanner ▪ Cloud NAT ▪ kube-dns ▪ Service Mesh ▪ K8s Node ▪ Load Balancer ❖ Weekly (30分程度) ➢ overview (1~2週間) ➢ APM (全データ) ➢ Logs (Error以上)
21. © DMM 日常監視: Datadogでの確認項目 (Logs) 21
22. © DMM 日常監視: Datadogでの確認項目 (Logs) 22
23. © DMM 日常監視: Datadogでの確認項目 (Logs) 23 異常値を表示する Investigate Anomaly 機能 異常なログを表示する Watchdog Insights 機能
24. © DMM 24 • Nodeリソース確認 Dashboard • Nodeのリソース全体の何割が埋まっているか確認 • k8sのcpu request比, mem utilization比など複数の尺度で確認 • 平均的にNodeの台数が増えた場合, 常設Nodeを増やす • BigQueryユーザ別クエリコスト Dashboard • 誰かが高コストなクエリを叩いていないか確認 • Redis Dashboard • Redisは見るメトリクスが多いため, 専用のDashboardを作成 日常監視: 目的特化Dashboardの活用
25. © DMM 25 • Nodeリソース確認 Dashboard • Nodeのリソース全体の何割が埋まっているか確認 • k8sのcpu request比, mem utilization比など複数の尺度で確認 • 平均的にNodeの台数が増えた場合, 常設Nodeを増やす • BigQueryユーザ別クエリコスト Dashboard • 誰かが高コストなクエリを叩いていないか確認 • Redis Dashboard • Redisは見るメトリクスが多いため, 専用のDashboardを作成 日常監視: 目的特化Dashboardの活用
26. © DMM 26 日常監視: 特化Dashboardの活用 (Redis)
27. © DMM 27 日常監視: 特化Dashboardの活用 (Redis) Redisインテグレーション (Datadog Agentから送信) で NodeごとのCPUメインスレッド の使用率を表示
28. © DMM 日常監視では カバーしきれない部分 も…
29. © DMM 29 • 今までとは違う負荷 (スパイク)への対策 • SNSでバズった, 新しいCMが始まった, 有名人がシェアした, 人気作が配信された, キャンペーンが始まった, 等でスパイクする • 上記のスパイクに対する情報収集 • メトリクス等は時間経過で消える • スパイク対策で過去データが欲しい時には, 既にデータが消えている 日常監視: 解決が難しい問題
30. © DMM 30 • 今までとは違う負荷 (スパイク)への対策 • SNSでバズった, 新しいCMが始まった, 有名人がシェアした, 人気作が配信された, キャンペーンが始まった, 等でスパイクする • 上記のスパイクに対する情報収集 • メトリクス等は時間経過で消える • スパイク対策で過去データが欲しい時には, 既にデータが消えている 日常監視: 解決が難しい問題 これらの課題を 解決したい！
31. © DMM 31 日常監視 特別監視 CP監視 日常監視 ライブ配信日 キャンペーン期間終了 キャンペーン期間開始 ライブ監視 監視について: SREの対応イメージ
32. © DMM 32 特別監視: 実施意図 • 普段以上に障害リスクを避けたい • ユーザや売上にとって重要なイベントの時 • 往々にしてアクセス数が増える→スパイクしやすい • イベントごとに負荷の傾向を残す • 次回のイベント対策に向けた参考値が欲しい • このタイミングのメトリクスはずっと残したい
33. © DMM 33 特別監視: 必要な機能要件 • 詳細なメトリクスの確認 • メトリクスからより精密にリソースを予測したい • メトリクスの長期保存が可能 • 1年後に同じイベントの第2弾が…なんてことも
34. © DMM 34 予測可能性 ユーザ影響 • SNSでのバズ • 有名人のシェア • 大型キャンペーン開始 • 人気ライブ配信 • 新CM配信開始 • 小規模キャンペーン開始 特別監視: 特別監視実施の判断軸
35. © DMM 35 予測可能性 ユーザ影響 • 大型キャンペーン開始 • 人気ライブ配信 • 新CM配信開始 • 小規模キャンペーン開始 実施候補 • SNSでのバズ • 有名人のシェア 特別監視: 特別監視実施の判断軸
36. © DMM 36 特別監視: 実施タイミング1. ライブ配信 • ライブ配信開始と終了のタイミングにスパイク • 配信終了時は強制的にTOPページに飛ばされるため
37. © DMM 37 CP 開始 特別監視: 実施タイミング2. VODキャンペーン • VOD (ビデオオンデマンド) のキャンペーン開始時にスパイク • 平常時より平均的に負荷増 • キャンペーン開始からの時間に比例して負荷は落ち着く
38. © DMM 38 特別監視: 参考. VOD平常時 • 主にコンテンツ視聴時の負荷 • 普段のVODのアクセス負荷は比較的安定 している
39. © DMM 39 特別監視: 特別監視の効果 (VODキャンペーン) • キャンペーンの種類ごとに対策を分ける ことが可能に • 半額キャンペーン • そのままで十分に捌ききれることが判明 • 「特別な対策を打たない 」という意思決定が可能に • 10円キャンペーン • k8sクラスタの常時稼働台数では捌ききれないことが判明 • 「PodやNodeをこの台数まで増やす 」という意思決定が可能に
40. © DMM 特別監視に便利な Datadog Notebook 40
41. © DMM 41 • イメージとしては簡易 Dashboardに近い • メトリクスの他, テキストやリンクも貼れる • データのスナップショットが可能 • データ保存期間終了後も消えない • Template機能がある • 似たようなNotebookを複製可 特別監視: Datadog Notebook の特徴
42. © DMM 42 特別監視: イベント用 Notebook について • 内容 • 概要, 時期, Pod, GCPサービスのメトリクス等 • 目的 • スナップショットでデータを長期保存 • 特殊な負荷に対する振り返り, 知見蓄積
43. © DMM 43 • 手順書テンプレート • 手順書内のメトリクスでミスや進度の把握 • 障害レポートテンプレート • レポートに障害時のメトリクスを埋め込み その他: Notebook Template 活用術
44. © DMM • DMM TVでは両輪の監視体制を敷いている • 日常監視 • DailyとWeeklyで粒度を変えて確認 • 様々なDashboardの活用 • 特別監視 • イベントごとに監視と情報収集 • 様々なNotebookの活用 • Dashboard と Notebook の二刀流は強力 • 両方を使い分けることで より目的に合った監視ができる まとめ 44