Tweet
Tweet

Slide 1

Slide 1 text

Dynalyst流
 Datadog活用法 株式会社サイバーエージェント アドテクスタジオ Dynalyst
 黒崎 優太 @kuro_m88

Slide 2

Slide 2 text

誰 • ࠇ࡚ ༏ଠ (@kuro_m88) • ৽ଔ3೥໨ • Dynalyst ΤϯδχΞ • ࣾྺ = Datadogྺ • झຯͰαʔόӡ༻(෺ཧ)͸͡Ί·ͨ͠

Slide 3

Slide 3 text

Dynalystについて

Slide 4

Slide 4 text

• Dynamic Retargeting for Games • Dynamic Personalized Ads

Slide 5

Slide 5 text

• AWS (ap-northeast-1, us-east-1) • EC2, ECS, Lambda • DynamoDB, Aurora, S3, ElastiCache, CloudFront • EMR, Redshift, DataPipeline, CloudWatch • xxxx K req/s (Tokyo), xxxx K req/s (US) • xxxx VMs • xxTB / day logs System

Slide 6

Slide 6 text

本日お話すること • ͪΐͬͱมΘͬͨ࢖͍ํ • ؂ࢹϧʔϧͷ؅ཧ • ো֐ରԠ • ͜Ε͔Β

Slide 7

Slide 7 text

ちょっと変わった使い方

Slide 8

Slide 8 text

Time is money • ޿ࠂ͸εϐʔυ໋͕ • ഑৴ঢ়گΛ͙͢ʹͰ΋೺Ѳ͍ͨ͠ • ਺ඦͷ޿ࠂओ • ଟ਺ͷγεςϜ࿈ܞ

Slide 9

Slide 9 text

fluent-plugin-dogstatsd • https://github.com/ryotarai/fluent-plugin-dogstatsd • ഑৴ϩά͔ΒϝτϦΫεΛੜ੒(CSV, LTSV, JSONͳͲ) • ࿈ܞઌ͝ͱ • ޿ࠂओ͝ͱ • ΞϓϦέʔγϣϯϩάͷΤϥʔΧ΢ϯτ • DataDogʹྲྀ͠ࠐΜͰଈ࣌ूܭͯ͠΋Β͏

Slide 10

Slide 10 text

配信状況の可視化の例 • ޿ࠂओ͝ͱͷ഑৴ϘϦϡʔϜͳͲ

Slide 11

Slide 11 text

⛏監視ルールの管理⛏

Slide 12

Slide 12 text

⛏監視ルールの管理⛏ • ؂ࢹϧʔϧɺखͰ؅ཧͯ͠Δਓʁ • ͭΒ͘ͳ͍ʁ • ࣗಈੜ੒ͨ͘͠ͳ͍ʁ

Slide 13

Slide 13 text

⛏Terraform Datadog Provider⛏ • monitor, downtime, timeboard, user resource "datadog_monitor" "dynamodb_user_error_count" { name = "DynamoDB UserError count is above the Threshold !!" type = "metric alert" message = <

Slide 14

Slide 14 text

クエリを手で書くのは難しい… • Datadog→TerraformͷimportεΫϦϓτ࡞Γ·ͨ͠ • Datadogͷ؂ࢹઃఆ͔ΒTerraformͷresourceΛੜ੒͢Δ • http://kurochan-note.hatenablog.jp/entry/2017/07/09/161444 $ ruby ./monitor-import.rb dynamodb_user_error_count 112233 resource "datadog_monitor" "dynamodb_user_error_count" { name = "DynamoDB UserError count is above the Threshold !!" type = "metric alert" message = <

Slide 15

Slide 15 text

障害対応

Slide 16

Slide 16 text

障害対応 • ো֐ରԠ࣌ʹ͓͍ͯɺDatadog͕Ͳ͏໾ʹཱͭͷ͔ • ؂ࢹ͍ͯ͠ͳ͔ͬͨ/Dashboardʹ͍ͯ͠ͳ͔ͬͨ෺Λ
 Ͳ͏΍ͬͯ୳͢ͷ͔

Slide 17

Slide 17 text

障害を把握する • Metrics Explorer • ׳ΕΔͱؾ͍͍࣋ͪ

Slide 18

Slide 18 text

状況を共有する • Notebook

Slide 19

Slide 19 text

メトリクスを貯めておくことで分かること • ஷΊ͓ͯ͘ࣄ͕େ੾ • ঢ়ଶͷ೺Ѳ • ͍͔ͭΒ͓͔͍͠ͷ͔ • ฏৗ࣌͸Ͳ͏ͩͬͨͷ͔ • DatadogͷMetric retention͸15ϲ݄ʂ • σʔλͷૹ৴ִ͕ؒ୹͗͢ΔͱܹॏʹͳΔͷͰ஫ҙ

Slide 20

Slide 20 text

障害でなくとも • ࣄલࠂ஌͞Εͨ
 τϥϑΟοΫ૿Ճ • ҟৗݕ஌ͰՄࢹԽ

Slide 21

Slide 21 text

注視すべき箇所を共有する • read-onlyϢʔβ͕࡞੒Ͱ͖ΔͷͰඇΤϯδχΞ ʹ΋ؾܰʹڞ༗Ͱ͖Δ • Ϗδωε৬ͷਓʹ΋Θ͔Γ΍͍͢৘ใ͕ఏڙͰ ͖Δ

Slide 22

Slide 22 text

これから

Slide 23

Slide 23 text

これから • αʔό/AWSͷϝτϦΫε͕औΕΔʂ • ഑৴ϝτϦΫε͕औΕΔʂ

Slide 24

Slide 24 text

これから • αʔό/AWSͷϝτϦΫε͕औΕΔʂ • ഑৴ϝτϦΫε͕औΕΔʂ

Slide 25

Slide 25 text

…何かが足らない

Slide 26

Slide 26 text

(おねがい( • APMͷJVMݴޠରԠ଴͍ͬͯ·͢ʂ • Cloud WatchͷϝτϦΫεͷ൓өִ͕ؒ୹͍ͱ
 خ͍͠ͳ͊… • ϩάͷϚωδϝϯτ΋Ͱ͖Δͱ͍͍ͳ͊…