新卒がZabbix3でサーバ監視を冗長化!?H2Oにも移行した！

https://atnd.org/events/90730

Transcript

1. ৽ଔ͕ZABBIX3Ͱαʔό؂ࢹΛ ৑௕Խ!?H2Oʹ΋Ҡߦͨ͠ʂ ITI GROUP INFRA SRE TEAM HIKARU MIYAZAWA
2. ɾ̏ɾ AGENDA 1. ࣗݾ঺հ 2. ZABBIX3.0Ͱ؂ࢹΛ৑௕Խͨ͠ܦҢ 3. H2OΛ࠾༻ͯ͠Α͔ͬͨ͜ͱ 4. ZABBIX×H2O 5. ·ͱΊ
3. ɾ̏ɾ HIKARU MIYAZAWA ɾ2016/10ʙ2017/3
 גࣜձࣾITIͷΠϯλʔϯɺ
 Πϯϑϥͷۀ຿Λܦݧ ɾ2017/4ʙࠓ·Ͱ
 גࣜձࣾITIೖࣾ ΠϯϑϥSREνʔϜ झຯɿυϥϜɺ݈߁ΦλΫɺήʔϜɺ
 ޷͖ͳςΩετΤσΟλɿSublime Text
4. ɾ̏ɾ ZABBIX3.0Ͱ؂ࢹΛ৑௕Խͨ͠ܦҢ ▸ ฐࣾ؂ࢹαʔό͸zabbix2.2ɺࣗࣾͰߏங,ӡ༻ ▸ 6݄ʹ͘͞Βͷϝϯςφϯε͕ൃද ▸ ϝϯςφϯεத͸؂ࢹΛܧଓͰ͖ͳ͍ ▸ ͜ͷػձʹ͔ͤͬ͘ͳͷͰ2୆ମ੍Ͱ৑௕Խ
7. ɾ̏ɾ ZABBIX3.0 ▸ ׬શແྉͰΦʔϓϯιʔεͷ ؂ࢹιϑτ΢ΣΞ ‣ LAMP؀ڥʴzabbix-serverͰಈ͘ ▸ ؂ࢹର৅αʔόʹ͸ɺ zabbix-agentΛΠϯετʔϧ ▸ ฐࣾͷ؂ࢹର৅αʔόɿ200୆ʙ
8. ɾ̏ɾ ޷͖ʹ؂ࢹɺ௨஌ʂࣗ༝ʂ εΫϦʔϯͰՄࢹԽ →ϦΞϧλΠϜͰো֐ঢ়گ೺Ѳ Slack΍νϟοτϫʔΫ΁ͷ ௨஌ઃఆ΋؆୯
9. ɾ̏ɾ GMO ConoHa ͷ࠾༻ཧ༝ ▸ AWSଆͷো֐ͷӨڹΛड͚ͳ͍ ▸ ZabbixͷεϖοΫཁ݅Λຬ͍ͨͭͭ҆͠ʂ(2GB,3ίΞ,1700ԁ/݄) ▸ Disk͸SSDͰ50GB ※௥ՃDisk͸ߴ͍Ͱ͢(ຖ݄/2400ԁ)
10. ɾ̏ɾ OSͱϛυϧ΢ΣΞ ▸ CentOS6.9(Final) ▸ Apache2.2.15 ▸ MySQL5.7.19 ▸ PHP7.0.18 ▸ zabbix-server3.0.10-1 ▸ (zabbix-agent3.0.10-1)
11. ZABBIXΠϯετʔϧ͸
 ؆୯ͳͷͰ
 
 ׂѪ͍͖ͤͯͨͩ͞·͢ʂ
12. ɾ̏ɾ طଘͷZABBIX؂ࢹαʔόͷઃఆΛ৽αʔόʹ΋൓ө ▸ ZABBIXผόʔδϣϯҠߦ࣌ͷ஫ҙ ▸ ɾτϦΨʔͷ৚݅ࣜͷมߋ ▸ ɾෆ࠾༻ʹͳͬͨΞΠςϜ ▸ ɾো֐࣌ΞΫγϣϯͷઃఆ͕exportग़དྷͳ͍ ▸ ɾexportͨ͠xmlϑΝΠϧ͸ॻ͖׵͕͑ඞཁ
13. ͦͯ͠͏·͘ ͍ͬͨͷ͔ʂʁ
14. ▸ ͘͞Βͷϝϯςφϯεલʹ৑௕Խ׬ྃ ▸ ΄ͱΜͲ͋ͩͪΜ͞Μ͕΍Γ·ͨ͠ ▸ ݟ͍͑ͯͨ՝୊ ▸ DBͷఆظతͳόοΫΞοϓ ▸ zabbix͸DB͕ੜ͖͍ͯΕ͹༰қʹ෮چͰ͖Δɻ ɾ̏ɾ ॕʂ؂ࢹ৑௕Խʂʂ
15. ɾ̏ɾ ϝϯςφϯε3೔લͷҰίϚ ▸ ▸ ɹɹɹɹɹɹɹɹɹɹɹ๻ʮఆظతʹDBΛόοΫΞοϓ͢ΔγΣϧ,ॻ͚·ͨ͠ʂʯ ▸ ▸ ɹ͋ͩͪΜ͞Μʮςετͯ͠Έͨʁ
 ɹɹɹɹɹɹɹɹͪΐͬͱ֬ೝͯ͠ΈΑ͏ʯ(ΧλΧλ)
16. ▸ mysqldump -u user -x -p --all-databases 
 < mysqldump.sql Μʁ
17. —all-databases 
 < mysqldump.sql ͋……
19. ɾ̏ɾ ͓෼͔Γ௖͚ͨͩΖ͏͔ ▸ mysqldump -u user -x -p --all-databases < mysqldump.sql ▸ ۭͬΆΛͿͪࠐΉ ۭͬΆ ZABBIXͷDB
21. ɾ̏ɾ ຊདྷ͸͜Ε ▸ mysqldump -u user -x -p --all-databases > mysqldump.sql ۭͬΆ ZABBIXͷDB
22. ࣍ͷ೔ɺ͋ͩͪΜ͞Μ͕
 ޕલதͰ௚͠·ͨ͠ɻ(ૣ͗͢)
 (ࣗ෼͸༗څͰͨ͠ww)
23. ɾ̏ɾ εΫϦʔϯͷ࡞੒ ▸ ཁ๬ɿো֐࣌ʹ؂ࢹσʔλΛάϥϑͰ͙͢ʹݟ͍ͨʂ ▸ ΍Γ·͢ʂ೚ͤͯԼ͍͞ʂ͋Εʁ ▸ ฐࣾͷ؂ࢹର৅ϗετ͸200Ҏ্ ▸ 1ϗετʹ͖ͭ12ݸͷ؂ࢹ߲໨ ▸ खಈͰϙνϙν͢Δ৔߹ ▸ 200ϗετ×12߲໨×4ΫϦοΫʹ9600…໿Ұສճͷ࡞ۀ…
24. ɾ̏ɾ ਖ਼௚͠ΜͲ͍…
25. ɾ̏ɾ ޮ཰Α͘΍Ζ͏ʂ
26. ɾ̏ɾ ZABBIXͷઃఆ͸IMPORT/EXPORTͰ͖Δ ZabbixͷઃఆʢҰ෦ʣ ɹɹɹɹɹɹɹɹɹɹɹɾάϧʔϓɹɹɹɹɹ
 ɹɹɹɹɹɹɹɹɹɹɹɹɹɾςϯϓϨʔτ
 ɹɹɹɹɹɹɹɹɹɹɾϗετ
 ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɾωοτϫʔΫϚοϓ
 ɹɹɹɹɹɹɹɹɹɹɹɾΠϝʔδ
 ɹɹɹɹɹɹɹɹɹɹɹɹɾεΫϦʔϯ XMLorJSONܗࣜ
27. ɾ̏ɾ εΫϦʔϯ͜Μͳײ͡Ͱ͢
28. ɾ̏ɾ εΫϦʔϯͷXMLͱ࣮ࡍͷWEB্
29. ɾ̏ɾ XMLϑΝΠϧΛࣗಈੜ੒͢ΔSHELLΛ࡞੒
30. ͜ ͜ Ͱ໰୊͕ ʂ
31. ɾ̏ɾ ͬͦ͘஗͍ ▸ ϦΞϧλΠϜͰߋ৽͞ΕΔ120ݸͷάϥϑͷදࣔ͸΍ͬͺΓ ॏ͔ͬͨɻ
32. ͱͳΔͱNGINX ͕͍͍ͷ͔ʁ
33. ▸ ݩDeNAͷԞҰึࢯ͕։ൃɻ ▸ HTTP/2ʹରԠͨ͠ര଎ͷWEBαʔόʔͰ͋Δ ▸ ͋ͩͪΜ͞Μਪ͠(ΏΔ;ΘΩϟϯύʔ͞Μ΋) ɾ̏ɾ H2Oͷ࠾༻
34. ɾ̏ɾ HTTP/1.1ͷͲ͕͜ѱ͍ͷʁ ‣ ʮHTTPύΠϓϥΠϯʯ
 ˠલճϦΫΤετͷ׬ྃΛ଴ͨͣʹ࣍ͷϦΫΤετΛૹ৴͢Δ͜ͱ͕Մೳ ‣ ʮαʔόʔ͸ϦΫΤετͷॱ൪௨ΓʹϨεϙϯεΛฦ͞ͳ͚Ε͹ͳΒͳ͍ʯ
 →݁ہॱ൪଴͕ͪൃੜ͠ɺ
 ஗Ԇ͍ͯͨ͠ɻ
35. ɾ̏ɾ HTTP/2ͰԿ͕มΘΔ͔ ‣ ଟॏԽ ɾಉ࣌ʹ100Ҏ্ͷϦΫΤετΛൃߦՄೳ ɾλΠϛϯάɺϨεϙϯεͷॱং͕ؔ܎ͳ͍
 ɾෳ਺ฒྻॲཧ →HTTP/1.1Ͱͷॱ൪଴͕ͪͳ͍ ‣ ϔομѹॖ(HTTP/2ͷϔομ͸େ͖͍300~500B)
 ྫʣ100ճϦΫΤετ͕དྷͯ΋ɺຖճ300όΠτͷ
 ϔομΛૹΒͳͯ͘ࡁΉ →খ͞ͳϦΫΤετΛԿճૹͬͯ΋஗͘ͳΒͳ͍
36. ɾ̏ɾ ͦΜͳHTTP/2Λ࠷େݶʹ׆͔ͤΔ͔ ▸ ࣮͸HTTP/2ʹରԠ͔ͨ͠Βͱ͍ͬͯɺ
 αʔόଆͷઃఆ͕ͪΌΜͱ͍ͯ͠ͳ͍ͱ
 ͍͍ͱ͜ΖΛ׆͔ͤͳ͍ ▸ྫ͑͹…
37. ɾ̏ɾ ༏ઌ౓੍ޚ͕͍͢͝ ▸ ༏ઌ౓੍ޚ
 WEBϖʔδΛදࣔ͢ΔͷʹඞཁͳϑΝΠϧΛͲͷॱ൪Ͱ༏ઌతʹಡΈࠐΉ͔Λ͖Ί ͓ͯ͘
 ᶃHTMLᶄCSSᶅJSᶆը૾ᶇը૾ᶈը૾ ▸ ΫϥΠΞϯτଆ
 →Firefox͸ݡ͍
 →Chrome͸͋Δ͚Ͳશવ׆͔͍ͤͯͳ͍
 Safari,IE-Edge,ͦͷଞͷϒϥ΢β͸༏ઌ౓ͷ֓೦͢Βແ͠ɻɻ
 αʔόଆͰͳΜͱ͔͢Δɻɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ
38. ɾ̏ɾ ༏ઌ౓੍ޚ͕͍͢͝ ▸ ʮhttp2-reprioritize-blocking-assetsʯ ▸ CSSͱJSΛ࠷༏ઌͰϨεϙϯεΛฦ͢ ▸ HTMLΛฦ͢ʢ͜ͷ࣌఺ͰɺWEBϖʔδͷϨϯμϦϯά͕ ։࢝Ͱ͖Δʣ ▸ ը૾Λฦ͢ʢฒྻॲཧͳͷͰॱ൪ΛؾʹͤͣҰؾʹૹΔʣ ▸ ※nginxͰ΋ؤுΕ͹ಉ͡Α͏ͳઃఆ͕ग़དྷΔΒ͍͠
39. ɾ̏ɾ αʔόϓογϡ ▸ αʔόϓογϡ ▸ ϦΫΤετΛઌಡΈͯ͠ඞཁͳϑΝΠϧΛૹΔ
 ྫʣHTMLͷϦΫΤετड͚ͨΒCSS΋·ͱΊͯૹΔ ▸ Ωϟογϡ༗ແΛ֬ೝͰ͖ΔͷͰɺແବʹૹΔ͜ͱ͸ͳ͍
40. Ͳ͏ͤઃఆ͢Δͷ ΊΜͲ͍͘͞Μ͡Ό Ζʁ
41. ɾ̏ɾ ͳΜͱνϡʔχϯά͸σϑΥϧτͰON ▸ ී௨ʹ্ཱͪ͛ͨॠ͔ؒΒര଎ʂ ▸ νϡʔχϯάʹ͔͚ͯͨ࣌ؒΛଞͷλε Ϋʹ࢖͑Δ
42. ɾ̏ɾ APACHE ઃఆϑΝΠϧ
43. ɾ̏ɾ H2O ઃఆϑΝΠϧ ▸ h2o.conf
44. ɾ̏ɾ ▸ zabbix.conf
45. ɾ̏ɾ ෛՙςετ ▸ AWS EC2Πϯελϯεt2.micro ▸ Apache2.4(νϡʔχϯάσϑΥϧτ) ▸ H2O2.2(νϡʔχϯάσϑΥϧτ) ▸ 30ສϦΫΤετɺಉ࣌઀ଓ1000ϢʔβͰݕূɻ ▸ ςετπʔϧ͸Goad
46. ɾ̏ɾ ෛՙςετ݁Ռ ▸ Apache
 
 1෼3.65ඵͰϑϦʔζ
 ▸ H2O
 
 ໿20ඵͰશϦΫΤετΛࡹ͘
47. ɾ̏ɾ ෛՙςετ݁Ռ Apache-2.4 H2O-2.2 300,000Requests 300,000Requests 1,000user 1,000user 1m3.65s 20.0s
48. ɾ̏ɾ ෛՙςετ݁Ռ Apache-2.4 H2O-2.2 300,000Requests 300,000Requests 1,000user 1,000user 1m3.65s 20.0s Freeze… Done!
49. ࣮ࡍʹH2Oͷ
 ͢͝͞Λ͓ݟͤ͠·͢
50. ɾ̏ɾ H2O×HTTP/2ͷ͗͢͢͝Δฒྻॲཧೳྗ
51. ɾ̏ɾ ZABBIX3.0×H2O×PHP7.0 ▸ H2O
 →ฒྻॲཧͰૣ͍ɺ࠷ॳ͔Βνϡʔχϯά͕͞ΕͯΔ
 Մಡੑͷߴ͍ઃఆϑΝΠϧ ▸ PHP7.0΋ૣ͍ ▸ ฐࣾͷ୲౰αʔϏεʹ΋ಋೖ͢Δ͖͔͚ͬʹͳͬͨɻ ▸ JoinsJob(δϣΠϯζδϣϒ),ITϓϩδΣΫτ໊ؑ,kiii(डୗ)
52. ɾ̏ɾ ·ͱΊ ▸ ؂ࢹ͸ࣗࣾͰߏங
 ˠίετେ෯μ΢ϯˠ͔͠͠ӡ༻͕େม ▸ ؂ࢹ͸AWSҎ֎Ͱ৑௕Խ͢Δͷ͕͓͢͢Ί
 ˠAWSଆͷωοτϫʔΫো֐͕ى͖ͯ΋ࠔΔ͜ͱ͸ͳ͍ ▸ ͜Ε͔ΒͷWEBαʔό͸H2OʹมΘ͍͖ͬͯͦ͏ ▸ Prometheusʹ௅ઓ͍ͨ͠
53. ͝ਗ਼ௌ
 ͋Γ͕ͱ͏͍͟͝· ͨ͠ʂ