Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
監視入門!監視で困ってませんか?
Search
Show Murai
June 20, 2018
0
310
監視入門!監視で困ってませんか?
Show Murai
June 20, 2018
Tweet
Share
More Decks by Show Murai
See All by Show Murai
システムを構築するときに 気をつける10のこと
showmurai
4
140
AWS vs GCP 今から作るならどちらがいいの 20180330
showmurai
1
1.3k
システムを構築するときに 気をつける10のこと
showmurai
0
1.6k
KubernetesでCLIを快適を使いたい
showmurai
0
2k
AWS vs GCP 今から作る ならどっちがいいの!?
showmurai
52
83k
データサイエンスのためのAWSの使い方入門
showmurai
1
950
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Faster Mobile Websites
deanohume
306
31k
Facilitating Awesome Meetings
lara
52
6.2k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
360
YesSQL, Process and Tooling at Scale
rocio
172
14k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
Making Projects Easy
brettharned
116
6k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
Building a Scalable Design System with Sketch
lauravandoore
461
33k
Raft: Consensus for Rubyists
vanstee
137
6.8k
RailsConf 2023
tenderlove
29
1k
Transcript
ࢹೖʂ ࢹͰࠔͬͯ·ͤΜ͔ʁ αϙʔλʔζCoLabษڧձ Jun 20 2018 ଜҪ ᠳଠ࿕
͖ΐ͏ͳ͢͜ͱ 1. ࣗݾհ 2. ࢹͱ 3. ࢹઓུΛ࿅Δ 4. ৭ʑͳࢹͷํ๏πʔϧͷհ 5.
ࢀߟࢿྉ
ࣗݾհ
ࣗݾհ • ଜҪᠳଠ࿕ • @Show_murai • גࣜձࣾ LOB • Site
Reliability Engineer ※ຊͷൃදݸਓͷݟղͰ͋Γɺॴଐ͢Δ৫ͷެࣜݟղͰ͋Γ·ͤΜ
ࣗݾհ • ژग़ ౦ژࡏॅ • ࣾձਓ 6 • ֶੜͷࠒը૾ೝࣝɺ ίϯϐϡʔλϏδϣϯΛݚڀͯ͠·ͨ͠
• ৽ଔͰωοτϫʔΫػثͷ αʔόʔαΠυΤϯδχΞͬͯ·ͨ͠ • લ৬αΠόʔΤʔδΣϯτͰΠϯϑϥΤϯδχΞ • झຯཱྀߦ
ࢹͱ
ࢹΛ͢Δత • γεςϜͷঢ়ଶΛΔ • ݈߁அͷΑ͏ͳͷ • ࠓͷঢ়ଶ͕ద͔Ͳ͏͔ΛΔ • γεςϜোΛݕ͢Δ •
ো࣌ʹ͍ͪૣ͘γεςϜͷ෮چΛࢦ͢ • ϘτϧωοΫΛ୳͢ • γεςϜͷύϑΥʔϚϯε࠷େԽ͢Δॿ͚ͱͳΔ • ଏʹݴ͏ύϑΥʔϚϯεΤϯδχΞϦϯά
ࢹΛ͢ΔϨΠϠʔ • γεςϜϦιʔεϨΠϠʔ • ϋʔυΣΞɺωοτϫʔΫ • OSɺCPUɺMemoryɺDisk༻ྔ • ΞϓϦέʔγϣϯ/ϛυϧΣΞϨΠϠʔ •
γεςϜσʔϞϯϓϩηεɺMySQLɺNginxɺࢹΤʔδΣϯτ • JavaɺRailsΞϓϦέʔγϣϯɺΤϥʔϩά • αʔϏεϨΠϠʔ • HTTPϦΫΤετ͕ਖ਼ৗ͔ɺMySQLͷΫΤϦ͕࣮ߦग़དྷ͍ͯΔ͔ • ΞΫηεͷԠ࣌ؒʹԆ͕ൃੜ͍ͯ͠ͳ͍͔
ࢹʹؔ͢Δ༻ޠ • ࢹϝτϦΫε • औಘ͢Δͷ͜ͱ • ᮢ(͖͍ͪ͠) • ʮ80%Λ͑ͨΒʓʓ͢Δʯͷ80%ͷ͜ͱ •
τϦΨʔ • ࢹͯ͠ಛఆͷ݅ʹͯ·ͬͯ Կ͔ΞΫγϣϯΛ͢Δ͜ͱΛݴ͏ • Ξϥʔτ • τϦΨʔ݅ʹͯ·ͬͨ߹ɺ௨Λߦ͏(On-callɺSMSɺϝʔϧɺSlack…)
ࢹઓུΛཱͯΔ
ࢹͷઓུ • γεςϜʹͱͬͯԿ͕Ұ൪ॏཁ͔Λߟ͑Δ • ϏδωεతͳॏཁͳϙΠϯτΛεςʔΫϗϧμʔʹ֬ೝ͢Δ • HTTPϦΫΤετͷԠઈର1ඵҎԼ • ϩάͷফࣦઈରμϝ •
σʔλϕʔεͷॻ͖ࠐΈઈରʹམͱͤͳ͍ • ࢹ͢Δ߲/ࢹ͠ͳ͍߲ΛܾΊΔ • ࢹγεςϜෛՙʹͳΔ߹͕͋Δ • ࢹ߲͕ଟ͗ͯ͢ԿΛݟΕΑ͍͔ΘΒ͔ͳ͘ͳΔ • ਖ਼͍͠ᮢͷઃఆ • ࢹϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ฏۉɺ࠷େ/࠷খɺύʔηϯλΠϧ
ϝτϦΫεͷҙຯΛཧղ͢Δ • ϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ϩʔυΞϕϨʔδ • ࣮ߦதͷεϨουͱ࣮ߦ͞ΕΔͷΛͬͯΩϡʔΠϯά͞Ε͍ͯΔεϨου ͷ߹ܭϩʔυΞϕϨʔδ • CPUͷ౷ܭใ(vmstat)
• Ϣʔβ࣌ؒɿΧʔωϧίʔυҎ֎ͷ࣮ߦ࣌ؒ • γεςϜ࣌ؒɿΧʔωϧίʔυͷ࣮ߦ࣌ؒ • ΞΠυϧ࣌ؒɿͳʹ࣮ߦ͍ͯ͠ͳ͍࣌ؒ • I/Oͪ࣌ؒɿεϨου͕σΟεΫI/OͷͨΊʹϒϩοΫ͞Ε͍ͯͬͯΔ࣌ؒ • ౪·Εͨ࣌ؒɿԾڥͰ΄͔ͷςφϯτʹαʔϏεΛఏڙͨ࣌ؒ͠
దͳᮢͷܾఆ • ཧ͢ΔγεςϜʹͱͬͯ“ద”ͳᮢ • ex. ϝϞϦΛଟ͘ফඅ͢ΔΑ͏ͳγεςϜͷ߹ɺ ϝϞϦ༻ͷᮢߴΊʹઃఆ͓ͯ͘͠ • “ΦΦΧϛগ”ΛݮΒ͢ •
ᮢʹΑΓΞϥʔτ௨͕ͨ͘͞Μ͖ͯɺ ຊདྷΩϟονΞοϓ͍ͨ͠௨Λݟಀ͞ͳ͍Α͏ʹ͢Δ • ᮢదٓมߋͰ͖ΔΑ͏ʹ͓ͯ͘͠ • ex. ΞϓϦέʔγϣϯͷઃܭมߋͰϝϞϦ༻্͕͕Δ͔͠Εͳ͍
ϨΠϠʔ͝ͱͷࢹ • ୭͕ͲͷϨΠϠʔΛରԠ͢Δ͔༧ΊܾΊ͓ͯ͘ • γεςϜϦιʔεϨΠϠʔ • CPUɺϝϞϦɺσΟεΫɺωοτϫʔΫ… • ରԠऀɿΠϯϑϥΤϯδχΞɺΞϓϦέʔγϣϯΤϯδχΞ •
ΞϓϦέʔγϣϯ/ϛυϧΣΞϨΠϠʔ • ϓϩηεࢹɺΞϓϦέʔγϣϯϩάࢹɺ࣮ߦ࣌ؒࢹɺԆࢹ • ରԠऀɿΞϓϦέʔγϣϯΤϯδχΞɺӡ༻୲ऀ • αʔϏεϨΠϠʔ • ࢮ׆ࢹɺΤϯυϙΠϯτࢹ • ରԠऀɿͯ͢ͷΤϯδχΞɺϓϩδΣΫτϚωʔδϟʔ
ো࣌ͷӡ༻ϑϩʔΛܾΊΔ • ΤεΧϨʔγϣϯϙϦγʔͷ࡞ • ো௨Λड͚औΔਓͷ༏ઌΛܾΊΔ • ΞϥʔτΛड͚औͬͯԿ͔Βௐࠪ͢Δ͔ • Α͘ൃੜ͢ΔΞϥʔτ༧ΊରԠϑϩʔΛ༻ҙ͓ͯ͘͠ •
ex. υΩϡϝϯτͳͲΛ࡞͢Δ • োͷཧ • ͍ͭɺͲͷΑ͏ͳো͕Կ݅ൃੜ͔ͨ͠ཧ͢Δ • ౷ܭใΛऔಘͯ͠Λੳ͢Δ
ࢹπʔϧͷհ
ϞχλϦϯάπʔϧͷհ • Zabbix • Φʔϓϯιʔεͷࢹπʔϧ • ΠϯϑϥϞχλϦϯάʹ͍͍ͯΔ • ΧελϜεΫϦϓτΛ࡞Δ͜ͱͰॊೈʹࢹ͕Մೳ •
Datadog • ༗ྉͷSaaSܕࢹπʔϧ • ओཁΫϥυαʔϏεͱͷ࿈ܞॆ࣮ • APM2017ϦϦʔε͞Εͨ
ϞχλϦϯάπʔϧͷհ • mackerel • ͯͳ͕։ൃɺఏڙ͍ͯ͠Δ༗ྉͷSaaSܕࢹαʔϏε • αϙʔτυΩϡϝϯτ͕ຊޠͳͷͰ҆৺ • Prometheus •
Φʔϓϯιʔεͷࢹπʔϧ • Googleͷࢹπʔϧ”Borgmon”Λࢀߟʹ࡞ΒΕͨ • άϥϑͳͲͷ࡞GrafanaͳͲΛՄࢹԽπʔϧ͕ඞཁ
ϞχλϦϯάπʔϧͷհ • New Relic • ༗ྉͷSaaSܕϞχλϦϯάαʔϏε • ΞϓϦέʔγϣϯࢹ(APM)Ͱओʹར༻͞Ε͍ͯΔҹ • ֤ݴޠͷίʔυʹSDKΛೖΕΔ͜ͱͰࣗಈͰ
ΞϓϦέʔγϣϯͷϝτϦΫεΛϞχλϦϯάͰ͖Δ
ϞχλϦϯάπʔϧͷհ • Pingdom • ࢮ׆ࢹαʔϏε • άϩʔόϧΤϯυϙΠϯτʹରͯ͠ HTTP(S)ϦΫΤετΛ͛ͯ֎ܗࢹΛߦ͏ • PagerDurty
• Πϕϯτ௨Λ͢ΔͨΊͷSaaSܕࢹ௨αʔϏε • On-callɺSMSɺϝʔϧɺSlackͳͲʹରԠ • ΤεΧϨʔγϣϯϙϦγʔͳͲ࡞Մೳ
ੈքͷࢹπʔϧࣄ • SREcon 18ͰͷΞϯέʔτ݁Ռ
ࢀߟࢿྉ
ࢹʹ͍ͭͯͬͱΑ͘Δ • ৄղ γεςϜɾύϑΥʔϚϯε • Brendan Greggஶɺ ༃ߛ ༁ɺඌ ߴ߂
༁ • ύϑΥʔϚϯεΤϯδχΞϦϯάʹ͍ͭͯͷຊ ࢹઃܭ͢ΔͷʹඇৗʹࢀߟʹͳΔ • Monitoring Modern Infrastructure by Datadog • ͜Ε͔ΒͷϞχλϦϯάͲ͏ͨ͠Β͍͍͔ • ΫϥυڥΛ͍ͬͯͯಈతʹϦιʔε͕ มԽ͢Δ߹ͷࢹํ๏ͳͲࢀߟʹͳΔ
Q & A
͋Γ͕ͱ͏͍͟͝·ͨ͠