Dynalyst流Datadog活用法 (公開用)

CyberAgent x Datadog勉強会で発表した資料です。(公開用に一部編集しています)

Transcript

1. Dynalyst流
 Datadog活用法 株式会社サイバーエージェント アドテクスタジオ Dynalyst
 黒崎 優太 @kuro_m88
2. 誰 • ࠇ࡚ ༏ଠ (@kuro_m88) • ৽ଔ3೥໨ • Dynalyst ΤϯδχΞ • ࣾྺ = Datadogྺ • झຯͰαʔόӡ༻(෺ཧ)͸͡Ί·ͨ͠
3. Dynalystについて
4. • Dynamic Retargeting for Games • Dynamic Personalized Ads
5. • AWS (ap-northeast-1, us-east-1) • EC2, ECS, Lambda • DynamoDB, Aurora, S3, ElastiCache, CloudFront • EMR, Redshift, DataPipeline, CloudWatch • xxxx K req/s (Tokyo), xxxx K req/s (US) • xxxx VMs • xxTB / day logs System
6. 本日お話すること • ͪΐͬͱมΘͬͨ࢖͍ํ • ؂ࢹϧʔϧͷ؅ཧ • ো֐ରԠ • ͜Ε͔Β
7. ちょっと変わった使い方
8. Time is money • ޿ࠂ͸εϐʔυ໋͕ • ഑৴ঢ়گΛ͙͢ʹͰ΋೺Ѳ͍ͨ͠ • ਺ඦͷ޿ࠂओ • ଟ਺ͷγεςϜ࿈ܞ
9. fluent-plugin-dogstatsd • https://github.com/ryotarai/fluent-plugin-dogstatsd • ഑৴ϩά͔ΒϝτϦΫεΛੜ੒(CSV, LTSV, JSONͳͲ) • ࿈ܞઌ͝ͱ • ޿ࠂओ͝ͱ • ΞϓϦέʔγϣϯϩάͷΤϥʔΧ΢ϯτ • DataDogʹྲྀ͠ࠐΜͰଈ࣌ूܭͯ͠΋Β͏
10. 配信状況の可視化の例 • ޿ࠂओ͝ͱͷ഑৴ϘϦϡʔϜͳͲ
11. ⛏監視ルールの管理⛏
12. ⛏監視ルールの管理⛏ • ؂ࢹϧʔϧɺखͰ؅ཧͯ͠Δਓʁ • ͭΒ͘ͳ͍ʁ • ࣗಈੜ੒ͨ͘͠ͳ͍ʁ
13. ⛏Terraform Datadog Provider⛏ • monitor, downtime, timeboard, user resource "datadog_monitor" "dynamodb_user_error_count" { name = "DynamoDB UserError count is above the Threshold !!" type = "metric alert" message = <<EOF @slack-metric-alert DynamoDB UserError count is above the Threshold !! EOF query = "sum(last_5m):sum:aws.dynamodb.user_errors{*} > 10" thresholds { warning = 5.0 critical = 10.0 } notify_no_data = false no_data_timeframe = 2 renotify_interval = 0 timeout_h = 0 require_full_window = true notify_audit = false tags = [terraform, dynamodb] }
14. クエリを手で書くのは難しい… • Datadog→TerraformͷimportεΫϦϓτ࡞Γ·ͨ͠ • Datadogͷ؂ࢹઃఆ͔ΒTerraformͷresourceΛੜ੒͢Δ • http://kurochan-note.hatenablog.jp/entry/2017/07/09/161444 $ ruby ./monitor-import.rb dynamodb_user_error_count 112233 resource "datadog_monitor" "dynamodb_user_error_count" { name = "DynamoDB UserError count is above the Threshold !!" type = "metric alert" message = <<EOF @slack-metric-alert DynamoDB UserError count is above the Threshold !! EOF query = "sum(last_5m):sum:aws.dynamodb.user_errors{*} > 10" thresholds { warning = 5.0 critical = 10.0 } notify_no_data = false no_data_timeframe = 2 renotify_interval = 0
15. 障害対応
16. 障害対応 • ো֐ରԠ࣌ʹ͓͍ͯɺDatadog͕Ͳ͏໾ʹཱͭͷ͔ • ؂ࢹ͍ͯ͠ͳ͔ͬͨ/Dashboardʹ͍ͯ͠ͳ͔ͬͨ෺Λ
 Ͳ͏΍ͬͯ୳͢ͷ͔
17. 障害を把握する • Metrics Explorer • ׳ΕΔͱؾ͍͍࣋ͪ
18. 状況を共有する • Notebook
19. メトリクスを貯めておくことで分かること • ஷΊ͓ͯ͘ࣄ͕େ੾ • ঢ়ଶͷ೺Ѳ • ͍͔ͭΒ͓͔͍͠ͷ͔ • ฏৗ࣌͸Ͳ͏ͩͬͨͷ͔ • DatadogͷMetric retention͸15ϲ݄ʂ • σʔλͷૹ৴ִ͕ؒ୹͗͢ΔͱܹॏʹͳΔͷͰ஫ҙ
20. 障害でなくとも • ࣄલࠂ஌͞Εͨ
 τϥϑΟοΫ૿Ճ • ҟৗݕ஌ͰՄࢹԽ
21. 注視すべき箇所を共有する • read-onlyϢʔβ͕࡞੒Ͱ͖ΔͷͰඇΤϯδχΞ ʹ΋ؾܰʹڞ༗Ͱ͖Δ • Ϗδωε৬ͷਓʹ΋Θ͔Γ΍͍͢৘ใ͕ఏڙͰ ͖Δ
22. これから
23. これから • αʔό/AWSͷϝτϦΫε͕औΕΔʂ • ഑৴ϝτϦΫε͕औΕΔʂ
24. これから • αʔό/AWSͷϝτϦΫε͕औΕΔʂ • ഑৴ϝτϦΫε͕औΕΔʂ
25. …何かが足らない
26. (おねがい( • APMͷJVMݴޠରԠ଴͍ͬͯ·͢ʂ • Cloud WatchͷϝτϦΫεͷ൓өִ͕ؒ୹͍ͱ
 خ͍͠ͳ͊… • ϩάͷϚωδϝϯτ΋Ͱ͖Δͱ͍͍ͳ͊…