Upgrade to Pro — share decks privately, control downloads, hide ads and more …

やさしい監視ミートアップ vol.1 / monitoring-at-ease

やさしい監視ミートアップ vol.1 / monitoring-at-ease

社内で「監視の民主化」を推し進めている一環として、これからはどのような監視体制やマインドを持っていきたいか、という話をしました。

hideki kinjyo

March 01, 2019
Tweet

More Decks by hideki kinjyo

Other Decks in Programming

Transcript

  1. ໨ࢦ͢΂͖࢟ ft. ΍͍͔͞͠Μ͠ • ʮ΍͍͔͞͠Μ͠ʯͰʮશһ͕Ͱ͖Δʯ • εέʔϥϏϦςΟɺεΩϧͷ࠶ݱੑͷ։ൃ • ʮ΍͍͔͞͠Μ͠ʯͰʮ౰ࣄऀʹͳΔʯ •

    ো֐Λ๷͙ = ඼࣭΁ͷҙࣝͷ޲্ • ʮ΍͍͔͞͠Μ͠ʯ͸ʮ݈શͳΞϥʔτ͕લఏʯ • Ұ࣍ରԠ(ΤεΧϨʔγϣϯ)ͷϋʔυϧΛ௿͘อͪଓ͚Δ
  2. 3ͭͷʮ΍Δ͜ͱʯ 1. ؂ࢹͷʮϦσβΠϯʯ • ʮରԠ͢΂͖ʯ΋ͷɺʮ඼࣭ʹؔ͢Δ΋ͷʯΛ۠ผ͢Δ • ʮϦϦʔεޙʯͱʮ௨ৗӡ༻ʯͷ2ஈߏ͑ 2. Ϧςϥγ޲্ͷʮτϨʔχϯάʯ •

    πʔϧͷ࢖͍ํ • ϝτϦΫεͷཧղ 3. αʔϏεͷશମ૾ͷʮ໌֬Խʯ • खॱॻͷ੔උ ͜ΕΒΛ
 “΍͍͔͞͠Μ͠” ͷͨΊͷ
 3ຊபʹ͍ͯ͘͠ʂ
  3. ϦΫΤετΛͯ͠ϨεϙϯεΛड͚औΔ
 ·ͰͷಓےΛҙ͍͖ࣝͯ͠ୂͷօ͞Μɻ • ʮશମͷ஍ਤʯΛࢥ͍ු͔΂Δͱɾɾ • ʮͲ͜ͰʯԿ͕ى͖͍ͯΔ͔ΛΠϝʔδ͠΍͘͢ͳΔ͸ ͣʂ • Θ͔Γʹ͍͘ྫ: •

    ʮϗοτέʔΩΛ࡞͚ͬͨͲ·͔ͣͬͨʯ࣌ʹɺͳʹΛ ߟ͑·͔͢ʁ • ͦ͏͍͏͜ͱͰ͢Αʂʂʂ ͕͜͜ૂ͍ʂ Կ͔ϞιϞι͢Δ ਫ෼͕଍Γͳ͍ʁ ম͖ํ͕ѱ͍ʁ খഴคͷ ٵਫ͕ྑ͘ͳ͍ʁ ਫ଍Γͳ͔ͬͨʁ ཛ͕গͳ͍ʁ ΫϦʔϜͷྔʁ શମ = ʮͳʹͰʯ&ʮ૊ΈཱͯʯΛ ஌ͬͯΔͱ෼͔Γ΍͍͢ʂ(ϋζ) • ʮϗοτέʔΩΛ࡞͚ͬͨͲ·͔ͣͬͨʯ
  4. ストレージ 3%4 "NB[PO"VSPSB
 .Z42-αʔόʔ &MBTUJ$BDIF 3FEJT
 Ωϟογϡαʔόʔ その他のSaaSなど SQS, SNS,

    Papertrail, Sentry, Slack, BigQuery etc σʔλ͋Γ·͢ σʔλ͋ͬͨΓ
 ͳ͔ͬͨΓ͠·͢
  5. Client dev.ʹ΋
 ؾʹͯ͠΄͍߲͠໨ • LB/ ApplicationELB: latency, (backend/LB) 4xx, request

    count • App / ΤϯυϙΠϯτผϦΫΤετ਺, crash rateͳͲ
  6. ͳ͔ͥʁ • ΫϥΠΞϯτ͔ΒͷϦΫΤετͷ಺༰ɾڍಈʹਂؔ͘ΘΔ ΋ͷ • ϦΫΤετΧ΢ϯτ • ແݶϧʔϓͳͲͷ๫ൃܥ͕ͳ͍͔ʁ • 4xxΤϥʔ਺

    • ʮϦΫΤετ಺༰͕ਖ਼͘͠ͳ͍ʯͨΊʮαʔόʔαΠυͰॲཧ͕ଓߦͰ͖ͳ͍ʯ΋ͷɻ
 ϦΫΤετίϯςϯπͷݟ௚͕͠ඞཁ • ϢʔβʔӨڹ͕ਙେͳ΋ͷ • ϨΠςϯγʔ • = ʮϦΫΤετΛड͚͔ͯΒɺॲཧΛฦ͖͠Δ·Ͱʯͷॴཁ࣌ؒ • ͜Ε͕ߴ͍ͱ͖͸ʮॏ͍ΞϓϦʯɻ
  7. Cloud Watch Alarmͱඥ෇͚Δ • Cloud Watch Alarm
 = Cloud Watch্ͷϝτϦΫεʹରͯ͠ɺʮ͋

    Δ৚݅Λ௒͑ͨΒ௨஌ʯ͢ΔγεςϜ • ͏ͪͩͱSlackʹ௨஌ઐ༻νϟϯωϧ͕͋Δ • ݱঢ়Ͱઃఆͯ͋͠ΔAlaramΛ஌Δ͜ͱ͸ɺ ʮ؂ࢹͷ؍఺Λ஌Δʯ͜ͱʹܨ͕Δ͸ͣ
  8. ྫ͑͹ • ʮELB Target Response TimeʯͱʮElastiCache CPU UtilizationʯΛݟ͍ͯΔ͚Ͳ • ͦΕͧΕɺͲ͏͍͏ҙຯͰͲ͏͍͏஋ʹͳ͍ͬͯΔͷʁ

    • ͲͪΒ͔ยํ or ྆ํͱ΋௨஌͕དྷͨͱ͖ͬͯɺ • ϢʔβʔӨڹ؍఺ͰͲ͏͍͏ঢ়گΛ૝૾͢΂͖ʁ • ࣮૷಺༰ɾαʔϏεఏڙ؍఺ͰɺͲΜͳݪҼΛٙ͏΂͖ʁ