؂ࢹೖ໳ʂ ؂ࢹͰࠔͬͯ·ͤΜ͔ʁ αϙʔλʔζCoLabษڧձ Jun 20 2018 ଜҪ ᠳଠ࿕

͖ΐ͏͸ͳ͢͜ͱ 1. ࣗݾ঺հ 2. ؂ࢹͱ͸ 3. ؂ࢹઓུΛ࿅Δ 4. ৭ʑͳ؂ࢹͷํ๏΍πʔϧͷ঺հ 5. ࢀߟࢿྉ

ࣗݾ঺հ

ࣗݾ঺հ • ଜҪᠳଠ࿕ • @Show_murai • גࣜձࣾ LOB • Site Reliability Engineer ※ຊ೔ͷൃද͸ݸਓͷݟղͰ͋Γɺॴଐ͢Δ૊৫ͷެࣜݟղͰ͸͋Γ·ͤΜ

ࣗݾ঺հ • ژ౎ग़਎ ౦ژࡏॅ • ࣾձਓ 6೥໨ • ֶੜͷࠒ͸ը૾ೝࣝɺ
 ίϯϐϡʔλϏδϣϯΛݚڀͯ͠·ͨ͠ • ৽ଔͰωοτϫʔΫػثͷ
 αʔόʔαΠυΤϯδχΞ΍ͬͯ·ͨ͠ • લ৬͸αΠόʔΤʔδΣϯτͰΠϯϑϥΤϯδχΞ • झຯ͸ཱྀߦ

؂ࢹͱ͸

؂ࢹΛ͢Δ໨త • γεςϜͷঢ়ଶΛ஌Δ • ݈߁਍அͷΑ͏ͳ΋ͷ • ࠓͷঢ়ଶ͕ద੾͔Ͳ͏͔Λ஌Δ • γεςϜো֐Λݕ஌͢Δ • ো֐࣌ʹ͍ͪૣ͘γεςϜͷ෮چΛ໨ࢦ͢ • ϘτϧωοΫΛ୳͢ • γεςϜͷύϑΥʔϚϯε࠷େԽ͢Δॿ͚ͱͳΔ • ଏʹݴ͏ύϑΥʔϚϯεΤϯδχΞϦϯά

؂ࢹΛ͢ΔϨΠϠʔ • γεςϜϦιʔεϨΠϠʔ • ϋʔυ΢ΣΞɺωοτϫʔΫ • OSɺCPUɺMemoryɺDisk࢖༻ྔ • ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ • γεςϜσʔϞϯϓϩηεɺMySQLɺNginxɺ؂ࢹΤʔδΣϯτ • JavaɺRailsΞϓϦέʔγϣϯɺΤϥʔϩά • αʔϏεϨΠϠʔ • HTTPϦΫΤετ͕ਖ਼ৗ͔ɺMySQLͷΫΤϦ͕࣮ߦग़དྷ͍ͯΔ͔ • ΞΫηεͷԠ౴࣌ؒʹ஗Ԇ͕ൃੜ͍ͯ͠ͳ͍͔

؂ࢹʹؔ͢Δ༻ޠ • ؂ࢹϝτϦΫε • औಘ͢Δ஋ͷ͜ͱ • ᮢ஋(͖͍ͪ͠) • ʮ80%Λ௒͑ͨΒʓʓ͢Δʯͷ80%ͷ͜ͱ • τϦΨʔ • ؂ࢹͯ͠ಛఆͷ৚݅ʹ౰ͯ͸·ͬͯ
 Կ͔ΞΫγϣϯΛ͢Δ͜ͱΛݴ͏ • Ξϥʔτ • τϦΨʔ৚݅ʹ౰ͯ͸·ͬͨ৔߹ɺ௨஌Λߦ͏(On-callɺSMSɺϝʔϧɺSlack…)

؂ࢹઓུΛཱͯΔ

؂ࢹͷઓུ • γεςϜʹͱͬͯԿ͕Ұ൪ॏཁ͔Λߟ͑Δ • ϏδωεతͳॏཁͳϙΠϯτΛεςʔΫϗϧμʔʹ֬ೝ͢Δ • HTTPϦΫΤετͷԠ౴଎౓͸ઈର1ඵҎԼ • ϩάͷফࣦ͸ઈରμϝ • σʔλϕʔεͷॻ͖ࠐΈ͸ઈରʹམͱͤͳ͍ • ؂ࢹ͢Δ߲໨/؂ࢹ͠ͳ͍߲໨ΛܾΊΔ • ؂ࢹ͸γεςϜෛՙʹ΋ͳΔ৔߹͕͋Δ • ؂ࢹ߲໨͕ଟ͗ͯ͢ԿΛݟΕ͹Α͍͔ΘΒ͔ͳ͘ͳΔ • ਖ਼͍͠ᮢ஋ͷઃఆ • ؂ࢹϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ฏۉɺ࠷େ/࠷খ஋ɺύʔηϯλΠϧ

ϝτϦΫεͷҙຯΛཧղ͢Δ • ϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ϩʔυΞϕϨʔδ • ࣮ߦதͷεϨουͱ࣮ߦ͞ΕΔͷΛ଴ͬͯΩϡʔΠϯά͞Ε͍ͯΔεϨου ͷ߹ܭ஋ϩʔυΞϕϨʔδ • CPUͷ౷ܭ৘ใ(vmstat) • Ϣʔβ࣌ؒɿΧʔωϧίʔυҎ֎ͷ࣮ߦ࣌ؒ • γεςϜ࣌ؒɿΧʔωϧίʔυͷ࣮ߦ࣌ؒ • ΞΠυϧ࣌ؒɿͳʹ΋࣮ߦ͍ͯ͠ͳ͍࣌ؒ • I/O଴ͪ࣌ؒɿεϨου͕σΟεΫI/OͷͨΊʹϒϩοΫ͞Εͯ଴͍ͬͯΔ࣌ؒ • ౪·Εͨ࣌ؒɿԾ૝؀ڥͰ΄͔ͷςφϯτʹαʔϏεΛఏڙͨ࣌ؒ͠

ద੾ͳᮢ஋ͷܾఆ • ؅ཧ͢ΔγεςϜʹͱͬͯ“ద੾”ͳᮢ஋ • ex. ϝϞϦΛଟ͘ফඅ͢ΔΑ͏ͳγεςϜͷ৔߹ɺ
 ϝϞϦ࢖༻཰ͷᮢ஋͸ߴΊʹઃఆ͓ͯ͘͠ • “ΦΦΧϛগ೥”ΛݮΒ͢ • ᮢ஋ʹΑΓΞϥʔτ௨஌͕ͨ͘͞Μ͖ͯɺ
 ຊདྷΩϟονΞοϓ͍ͨ͠௨஌Λݟಀ͞ͳ͍Α͏ʹ͢Δ • ᮢ஋͸దٓมߋͰ͖ΔΑ͏ʹ͓ͯ͘͠ • ex. ΞϓϦέʔγϣϯͷઃܭมߋͰϝϞϦ࢖༻཰্͕͕Δ͔΋͠Εͳ͍

ϨΠϠʔ͝ͱͷ؂ࢹ • ୭͕ͲͷϨΠϠʔΛରԠ͢Δ͔༧ΊܾΊ͓ͯ͘ • γεςϜϦιʔεϨΠϠʔ • CPUɺϝϞϦɺσΟεΫɺωοτϫʔΫ… • ରԠऀɿΠϯϑϥΤϯδχΞɺΞϓϦέʔγϣϯΤϯδχΞ • ΞϓϦέʔγϣϯ/ϛυϧ΢ΣΞϨΠϠʔ • ϓϩηε؂ࢹɺΞϓϦέʔγϣϯϩά؂ࢹɺ࣮ߦ࣌ؒ؂ࢹɺ஗Ԇ؂ࢹ • ରԠऀɿΞϓϦέʔγϣϯΤϯδχΞɺӡ༻୲౰ऀ • αʔϏεϨΠϠʔ • ࢮ׆؂ࢹɺΤϯυϙΠϯτ؂ࢹ • ରԠऀɿ͢΂ͯͷΤϯδχΞɺϓϩδΣΫτϚωʔδϟʔ

ো֐࣌ͷӡ༻ϑϩʔΛܾΊΔ • ΤεΧϨʔγϣϯϙϦγʔͷ࡞੒ • ো֐௨஌Λड͚औΔਓͷ༏ઌ౓ΛܾΊΔ • ΞϥʔτΛड͚औͬͯԿ͔Βௐࠪ͢Δ͔ • Α͘ൃੜ͢ΔΞϥʔτ͸༧ΊରԠϑϩʔΛ༻ҙ͓ͯ͘͠ • ex. υΩϡϝϯτͳͲΛ࡞੒͢Δ • ো֐ͷ؅ཧ • ͍ͭɺͲͷΑ͏ͳো֐͕Կ݅ൃੜ͔ͨ͠؅ཧ͢Δ • ౷ܭ৘ใΛऔಘͯ͠܏޲Λ෼ੳ͢Δ

؂ࢹπʔϧͷ঺հ

ϞχλϦϯάπʔϧͷ঺հ • Zabbix • Φʔϓϯιʔεͷ؂ࢹπʔϧ • ΠϯϑϥϞχλϦϯάʹ޲͍͍ͯΔ • ΧελϜεΫϦϓτΛ࡞Δ͜ͱͰॊೈʹ؂ࢹ͕Մೳ • Datadog • ༗ྉͷSaaSܕ؂ࢹπʔϧ • ओཁΫϥ΢υαʔϏεͱͷ࿈ܞ΋ॆ࣮ • APM΋2017೥΋ϦϦʔε͞Εͨ

ϞχλϦϯάπʔϧͷ঺հ • mackerel • ͸ͯͳ͕։ൃɺఏڙ͍ͯ͠Δ༗ྉͷSaaSܕ؂ࢹαʔϏε • αϙʔτ΍υΩϡϝϯτ͕೔ຊޠͳͷͰ҆৺ • Prometheus • Φʔϓϯιʔεͷ؂ࢹπʔϧ • Googleͷ؂ࢹπʔϧ”Borgmon”Λࢀߟʹ࡞ΒΕͨ • άϥϑͳͲͷ࡞੒͸GrafanaͳͲΛՄࢹԽπʔϧ͕ඞཁ

ϞχλϦϯάπʔϧͷ঺հ • New Relic • ༗ྉͷSaaSܕϞχλϦϯάαʔϏε • ΞϓϦέʔγϣϯ؂ࢹ(APM)Ͱओʹར༻͞Ε͍ͯΔҹ৅ • ֤ݴޠͷίʔυ಺ʹSDKΛೖΕΔ͜ͱͰࣗಈͰ
 ΞϓϦέʔγϣϯͷϝτϦΫεΛϞχλϦϯάͰ͖Δ

ϞχλϦϯάπʔϧͷ঺հ • Pingdom • ࢮ׆؂ࢹαʔϏε • άϩʔόϧΤϯυϙΠϯτʹରͯ͠
 HTTP(S)ϦΫΤετΛ౤͛ͯ֎ܗ؂ࢹΛߦ͏ • PagerDurty • Πϕϯτ௨஌Λ͢ΔͨΊͷSaaSܕ؂ࢹ௨஌αʔϏε • On-callɺSMSɺϝʔϧɺSlackͳͲʹରԠ • ΤεΧϨʔγϣϯϙϦγʔͳͲ࡞੒Մೳ

ੈքͷ؂ࢹπʔϧࣄ৘ • SREcon 18ͰͷΞϯέʔτ݁Ռ

ࢀߟࢿྉ

؂ࢹʹ͍ͭͯ΋ͬͱΑ͘஌Δ • ৄղ γεςϜɾύϑΥʔϚϯε • Brendan Greggஶɺ੢࿬ ༃ߛ ؂༁ɺ௕ඌ ߴ߂ ༁ • ύϑΥʔϚϯεΤϯδχΞϦϯάʹ͍ͭͯͷຊ
 ؂ࢹઃܭ͢ΔͷʹඇৗʹࢀߟʹͳΔ • Monitoring Modern Infrastructure by Datadog • ͜Ε͔ΒͷϞχλϦϯά͸Ͳ͏ͨ͠Β͍͍͔ • Ϋϥ΢υ؀ڥΛ࢖͍ͬͯͯಈతʹϦιʔε͕
 มԽ͢Δ৔߹ͷ؂ࢹํ๏ͳͲࢀߟʹͳΔ

Q & A

͋Γ͕ͱ͏͍͟͝·ͨ͠