DevOps中核サービスのデファクトとして進化し続ける「Mackerel」/DevOps of Mackerel

Transcript

1. 1 mackerel.io
2. 2 ձࣾ঺հ ໊ࣾɿגࣜձࣾ͸ͯͳ ॴࡏ஍ɿ ຊࣾ
   ˟
   ژ౎෎ژ౎ࢢதژ۠ޚ஑௨ؒ೭ொ౦ೖߴٶொ
   ޚ஑Ϗϧ' ɿ ຊళ
   ˟
   ౦ژ౎ߓ۠ೆ੨ࢁ੨ࢁαϯϥΠτϏϧ' ઃཱɿ೥݄ ࢿຊۚɿ ઍԁ ച্ߴɿ 
   ඦສԁʢ೥݄ݱࡏʣ ैۀһ਺ɿਓʢ೥݄ݱࡏʣ ೥ʹ౦ূϚβʔζࢢ৔ʹ্৔
3. 3 ͸ͯͳͷϛογϣϯ ʮ஌Δʯʮͭͳ͕Δʯʮදݱ͢Δʯ Ͱ৽͍͠ମݧΛఏڙ͠ɺਓͷੜ׆Λ๛͔ʹ͢Δ
4. 4 .BDLFSFMͱ͸ʁ
5. 5 ࠷ߴͷυοάϑʔσΟϯά؀ڥ͔Βੜ·Ε·ͨ͠ ౰ॳ͸/BHJPTΛ࢖ͬͯαʔό؅ཧΛ࣮ࢪ ଟ͗͢Δ؂ࢹର৅΍؂ࢹ߲໨͕ɺ ૿͑ଓ͚ΔΠϯϑϥӡ༻ͷෛՙʹ ྲྀಈతͳΠϯϑϥʹରԠ͢ΔΛϞοτʔʹࣗࣾ੡؂ࢹπʔϧΛ࡞੒։࢝ ʢॳ୅.BDLFSFMͷ஀ੜʣ ෺ཧαʔό୆ʢԾ૝Խ͠໿୆ʣʴ "84ͷΫϥ΢υར༻΋࢝·Γ৽؀ڥʹ దͨ͠.BDLFSFM͕஀ੜ Ϋϥ΢υͷຊ֨ීٴΛड͚ɺΑΓ࢖͍উखͷྑ͍πʔϧͱͯ͠4BB4ܕ؂ࢹαʔϏεͱͯ͠ ੡඼൛.BDLFSFMϦϦʔεʹணख ೥Ҏલ ೥ʙ ೥ʙ ೥ʙ ೥౰࣌ͷ.BDLFSFM ొ࿥Ϣʔβʔ਺ ສਓ ݄ؒϢχʔΫϒϥ΢β਺ ԯਓΛތΔ ͸ͯͳϒϩά΋.BDLFSFMʹΑͬͯࢧ͑ΒΕ͍ͯ·͢ɻ
6. 6 ΤϯδχΞΛऔΓר͘؀ڥ ɾ·͢·͢ಈతͰศརʹͳΔΠϯϑϥετϥΫνϟʔ ɾޮ཰తʹෳࡶੑͱ޲͖߹͏͜ͱ͕ٻΊΒΕΔ
8. 8 DevOpsͷத֩ͱͯ͠ Mackerel͸୯ͳΔ؂ࢹαʔϏεͰ͸͋Γ·ͤΜ ༷ʑͳ࢓૊Έͱ؆୯ʹ૊Έ߹Θͤɺ։ൃ΍ӡ༻ϥΠϑαΠΫϧͷ த֩ͱͯ͠ޮ཰ԽΛଅਐ͠·͢ Dev Ops
9. 9
   DevOps  
10. 10 ͸ͯͳͰͷ%FW0QT
11. 11 DevOpsͷఆٛ • EFWPQTͱ͸෺ͷߟ͑ํͰ͋Γɺ࢓ࣄͷਐΊํͰ͋Δʢ˞ʣ • ͸ͯͳͰ͸πʔϧΛࢦͨ͠ΓɺΧϧνϟʔΛࢦͨ͠Γଟٛత ͳ༻ޠͱ͍͏ೝࣝΛ͍ͯ͠·͢ • %FW0QTͷจ຺ͰޠΒΕΔπʔϧ͸೥͝Ζ͔Βಋೖ ʢQVQQFUͳͲʣ ˞ॻ੶ʮ&GGFDUJWF
    %FW0QTʯΑΓҾ༻
12. 12 ݩʑͷ૊৫ମ੍ͱ໾ׂ αʔϏεɾγεςϜ։ൃຊ෦ ୈ̍ʙୈ̑άϧʔϓ γεςϜ ϓϥοτϑΥʔϜ෦ %FW 0QT ΞϓϦέʔγϣϯΤϯδχΞ ˠΞϓϦέʔγϣϯɾαʔϏε։ൃ ΦϖϨʔγϣϯΤϯδχΞ ˠΠϯϑϥج൫ͷߏஙʴӡ༻
13. 13 DevOps
       • զʑ͕ײ͍ͯͨ͡՝୊ ΦϖϨʔγϣϯΤϯδχΞ͕ԣ۲ͰରԠ͢Δࣄ͕ۀ຿ͷϘτϧωοΫʹ Πϯϑϥӡ༻ۀ຿ͷ੹຿ͷ͔ͨΑΓ ։ൃνʔϜ͕ʮΦʔφʔγοϓʯΛ࣋ͭͱ͍͏ߟ͑ํʹม͑ͨ
14. 14 ໾ׂͷมߋʢ৽ʣ αʔϏεɾγεςϜ։ൃຊ෦ ୈ̍ʙୈ̑άϧʔϓ γεςϜ ϓϥοτϑΥʔϜ෦ %FW 0QT ΞϓϦέʔγϣϯΤϯδχΞ ΦϖϨʔγϣϯΤϯδχΞ ΠϯϑϥΦʔφʔγοϓΛ΋ͭ ωοτϫʔΫڞ௨ج൫ʹઐ೦ɾ஫ྗ
15. 15 ΦʔφʔγοϓΛ΋ͭ ΠϯϑϥΦʔφʔγοϓͱ͸ʁ ΞϓϦέʔγϣϯΤϯδχΞ͕ΠϯϑϥྖҬ·Ͱ੹೚Λ ࣋ͪɺো֐ରԠ͕Ͱ͖ͨΓɺඞཁͳ։ൃ؀ڥͷߏஙɺຊ ൪΁ͷ౤ೖΛࣗ෼ͨͪͷ൑அͰ͓͜ͳ͑ΔΑ͏ͳঢ়ଶɻ
16. 16 ΦʔφʔγοϓΛਪਐ͢ΔͨΊʹ΍ͬͨ͜ͱ • $50͔Βͷϝοηʔδϯά • ٕज़ษڧձɺϋοΧιϯʢΠϯϑϥྖҬεΩϧͷ֫ಘʣ • ΢ΣϒΦϖϨʔγϣϯΤϯδχΞ͔Β43&৬छ΁มߋͯ͠ ։ൃνʔϜ΁ઐଐ഑ஔ • Πϯϑϥͷ໰͍߹ΘͤνϟϯωϧΛ࡞ͬͨʢBTLJOGSBʣ
17. 17 ૊৫తͳޮՌɺ೉͠͞ • ৽αʔϏεͷߏஙͰ͋Ε͹࠷ॳ͔ΒΞϓϦέʔγϣϯΤ ϯδχΞ͕ӡ༻͢ΔલఏͰΠϯϑϥઃܭ͕Ͱ͖Δ • ։ൃνʔϜ಺Ͱ͸43&ͷݽཱͷՄೳੑ͕͋ΔͨΊίϛϡ χέʔγϣϯ͸ॏཁ • ։ൃνʔϜ಺Ͱͷ43&ͷධՁࢦඪΛͲ͏͢Δ͔ ˠ৴པੑΛߴΊΔɺมߋ଎౓Λ্͛Δ
18. 18 ͸ͯͳͷதͰͷMackerel • ʮΘ͔Βͳ͍ʯ͜ͱΛʮΘ͔ΔʯΑ͏ʹ͢Δπʔϧ • .BDLFSFMͷΞϥʔτΛݟͳ͕Βɺى͖ͨো֐ͱରࡦͷਐḿ ֬ೝͳͲΛΞϓϦέʔγϣϯΤϯδχΞͱ43&͕Ұॹʹ νΣοΫ • ʮ/8ʯ΍ʮαʔόʯͰ෼͚Δ͜ͱͳ͘ʮϩʔϧʯͱ͍͏֓ ೦ͰϚοϐϯά • ڞ௨ݴޠΛ࣋ͭ • Ұॹʹվળ͢ΔจԽΛৢ੒ • ΞϓϦέʔγϣϯɾΠϯϑϥ྆ࢹ ఺͔ΒΑΓޮՌతͳվળࡦΛબ୒ ͢Δ ΞϓϦέʔγϣϯ ΤϯδχΞ 43&
19. 19 ϩʔϧ͕࠷ߴͷརศੑΛ ༧ΊαʔϏεʗϩʔϧʗϗετΛࢦఆ͢Δ͜ͱͰɺࣗಈతʹάϥ ϑ΍؂ࢹઃఆͳͲ͕ઃఆ͞ΕΔͨΊɺಛʹେن໛؀ڥͰͷӡ༻ෛ ՙܰݮʹޮՌతͰ͢
20. 20 ͸ͯͳͰ׆༻͍ͯ͠Δπʔϧ܈
21. 21 جຊػೳ
22. 22 ΞʔΩςΫνϟ Mackerel͔Β ֎෦αʔϏε ΁ͷ௚઀؂ࢹ ΤʔδΣϯτ͔Β ϝτϦοΫΛ౤ߘ HTTPS REST API
23. 23 ؆୯ɻ͙͢ ͸͡ΊΒΕ·͢ • ΨΠυʹ͕ͨͬͯ͠ίϚϯυΛ࣮ߦ͢Δ͚ͩ • ਺෼͋Ε͹े෼Ͱ͢ • ΤʔδΣϯτ͕ࢮ׆؂ࢹΛࣗಈతʹ։࢝ • ΤʔδΣϯτ͕ϦιʔεͷϝτϦΫεΛࣗಈऔಘ mackerel-agent written in Go
24. 24 ໢ཏతͳϝτϦΫεɾ؂ࢹϧʔϧ ɾ63-֎ܗ؂ࢹϗετࢮ׆؂ࢹϦιʔε؂ࢹϩά؂ࢹ ɾ"84"[VSFΦʔτεέʔϧରԠ ɾࣗ࡞ϓϥάΠϯͱͷ࿈ܞ • ѹ౗తଟ਺ͷ؂ࢹʹରԠ • ଞ؂ࢹπʔϧ͔ΒͷҠߦࣄྫ΋ଟ਺ʂ
25. 25 ؂ࢹϧʔϧͷઃఆ͸ඞཁ • ϞχλϦϯάʹ͓͚Δ՝୊ • ؂ࢹϧʔϧͷϝϯςφϯε͸ ॏཁ͕ͩख͕͔͔ؒΔ • ੩తͳᮢ஋ͷ؂ࢹ͚ͩͰ͸ݕ ग़͕೉͍͠ঢ়گ΋͋Δ • ؂ࢹϧʔϧΛద੾ʹઃఆ͢Δ ͨΊʹɺ͋Δఔ౓ͷ஌ࣝʢϛ υϧ΢ΣΞͳͲʣ͕ඞཁ
26. 26 ϦϦʔε༧ఆͷػೳ
27. 27 AWSΠϯςάϨʔγϣϯ ɾAWS CloudWatch API͔Β༷ʑͳϝτϦοΫ΍ΠϕϯτΛ औಘ͠ՄࢹԽ ɾ1୆ͷϗετͱͯ͠؅ཧ ɾEC2, ELB, RDS, ElastiCache, RedshiftͳͲ ॱ֦࣍େத
28. 28 ઈࢍϦϦʔεܧଓதʂ 
    6QEBUF 
    6QEBUF 
    6QEBUF 
    6QEBUF • "NB[PO
    "VSPSB
    4FSWFSMFTT • "NB[PO
    4 ͳͲɺܧଓతʹϦϦʔε༧ఆͰ͢ʂ
29. 29 ίϯςφͷਖ਼ࣜαϙʔτ • .BDLFSFMͷ֓೦ͱͯ͠ίϯςφΛදݱ • ΑΓίϯςφΛ׆༻͠΍͍͢؀ڥΛఏڙ Service Role Host Host Container Container Container Role Role Container Container Host Host Host Containers Hosts
30. 30 • &$4΍,VCFSOFUFTͰΦʔέετϨʔγϣϯ ͍ͯ͠Δ ؀ڥ͕ର৅ • 5BTL΍1PEʹର͢ΔTJEFDBS
    BHFOU • ΦʔέετϨʔγϣϯπʔϧ͕ఏڙ͍ͯ͠Δ"1*ͱ࿈ܞ • 1PE΍5BTLΛ.BDLFSFMͷϩʔϧʹॴଐ ίϯςφԽରԠͷઃܭํ਑
31. 31 • Ψ΢ε෼෍ҰͭͰ͸ଟๆੑʹରԠͰ͖ͳ͍ – ྫ
    ٳ೔ฏ೔ɺனؒ໷ؒ • ෳ਺ͷΨ΢ε෼෍ͷ଍͠߹ΘͤͰରԠ DQV NFNPSZ ٳ೔΍໷ؒ౳ൺֱత ෛՙͷ௿͍έʔε ฏ೔Λத৺ͱͨ͠ൺֱత ෛՙͷߴ͍έʔε ҟৗͱ൑ఆ͞ΕΔέʔε ҟৗͱ൑ఆ͞ΕΔέʔε ػցֶशʹΑΔҟৗݕ஌
32. 32 ػցֶशʹΑΔҟৗݕ஌ػೳͷ͓஌Βͤ ͓஌Βͤ ҟৗݕ஌ʹؔ͢Δ৽ػೳΛۙ೔ϕʔλ൛ͱͯ͠Ϧ Ϧʔε͍ͨ͠·͢ʂ
33. 33 .BDLFSFM։ൃϩʔυϚοϓ • "84ΠϯςάϨʔγϣϯ֦ॆ • ίϯςφԽରԠ • ػցֶशΛ׆༻ͨ͠ػೳ։ൃ • GCPΠϯςάϨʔγϣϯͷ։ൃ • SAMLೝূରԠ • ࣌ܥྻσʔλϕʔεͷ֦ு
    ͋͘·Ͱ༧ఆͰ͋ΓίϛοτϝϯτͰ͸͋Γ·ͤΜ
34. 34 Ձ֨ɺτϥΠΞϧ
35. 35 αʔϏεϓϥϯ ϘϦϡʔϜσΟεΧ΢ϯτ͋Γ
36. 36 .BDLFSFMͷಋೖ·Ͱͷϑϩʔ τϥΠΞϧ ຊ൪ಋೖ ӡ༻։࢝ ͝ܖ໿ Ϋʔϙϯ ίʔυൃߦ ੥ٻॻ෷͍ɾϘϦϡʔϜσΟεΧ΢ϯτͷΈ ˞िؒ ಋೖ͔Βӡ༻·Ͱɺ$3& ͕Ұ؏ͯ͠ ೔ຊޠ Ͱαϙʔτ͠·͢ʂ
37. 37 ͓٬༷
38. 38 NBDLFSFMJP