͸ͯͳͷΠϯϑϥετϥΫνϟ ઃܭߏ૝ ϖύϘɾ͸ͯͳٕज़େձ ~ Πϯϑϥٕज़ج൫ ~ @෱Ԭɹɹɹɹɹid:masayoshi

ΞδΣϯμ • ࣗݾ঺հ • ͸͡Ίʹ • ͸ͯͳγεςϜ • ͳͥ෼ղͱ࠶ߏஙΛϏδϣϯʹͨ͠ͷ͔? • ࣾ಺ߏ੒؅ཧπʔϧ • ෼ղͱ࠶ߏஙྫͷ঺հ • ΞʔΩςΫνϟͷ෼ղͱ࠶ߏங • ػೳͷ෼ղͱ࠶ߏங

ࣗݾ঺հ • id:masayoshi • twitter: yoyogidesaiz • WebΦϖϨʔγϣϯΤϯδχΞ 2016೥ೖࣾ • ओʹωοτϫʔΫɺԾ૝αʔόج൫ํ໘ͷ୲౰

͸͡Ίʹ • ෼ղͱ࠶ߏஙʹΑ࣮ͬͯݱ͢ΔΠϯϑϥج൫ߏ૝Λ࿩͠·͢ • y_uukiͷൃදΑΓ΋͏Ұา۩ମతͳ಺༰Λ࿩͠·͢ • ͜͜Ͱ͍͏Πϯϑϥج൫͸ʮ͸ͯͳͷʯΠϯϑϥج൫Ͱ͢ • ࣄۀ಺༰,ن໛ʹΑͬͯΠϯϑϥج൫͸େ͖͘ҟͳΓ·͢ • ͥͻϖύϘɾ͸ͯͳͰͷҧ͍Λתೳ͍ͯͩ͘͠͞ʂ • SREຊ౳ΛಡΉͱGoogleͷΠϯϑϥج൫ʹ৮ΕΔ͜ͱ΋ ग़དྷΔͰ͠ΐ͏ ※1 https://landing.google.com/sre/book.html ※1

͸ͯͳγεςϜ

͸ͯͳγεςϜ • ෼ղͱ࠶ߏங • Repairable Infrastructure • ؍ଌͱ࣮ݧ • Experimental Infrastructure • ࠓճ͸ͪ͜Β͸ѻ͍·ͤΜ

ͳͥզʑ͸෼ղͱ࠶ߏஙΛϏδϣϯʹͨ͠ͷ͔?

10೥ͷॏΈ • ઌఔͷฐࣾy_uukiͷʮ͸ͯͳγεςϜߏ૝ʯ • 10೥΋ͭʹ͸? • ࣾ಺αʔόߏ੒؅ཧπʔϧ • ࣮ࡍʹ10೥ࢧ͑ͨ͸ͯͳͷΠϯϑϥج൫ͷத਻ • 2007೥ࠒ͔Β։ൃελʔτͨ͠ • վળ͠ͳ͕Βདྷ͕ͨ৭ʑͭΒ͘ͳ͖ͬͯͨ

ͪͳΈʹ2007೥͝Ζ(10೥લ)͸͜Μͳ࣌୅ʂʂ • CentOS5͕ϦϦʔε͞ΕΔ • Linux Kernel 2.60.20 ͕ϦϦʔε͞ΕKVM͕౷߹͞Εͨ • 2006೥ʹAWS S3, EC2͕αʔϏεఏڙ։࢝ • ౦ژϦʔδϣϯ͸2011೥։ઃ • iPhoneॳ୅͕ൃച • Android౥ࡌͷܞଳి࿩ൃച͕2008೥

2007೥ʹ࡞੒͞Εͨࣾ಺αʔόߏ੒؅ཧπʔϧ • ϋΠύʔόΠβʔܕͷԾ૝Ϛγϯલఏͷߏ੒ • σʔληϯλΛલఏʹͨ͠ઃܭ • ϥοΫྻͱ͔ిѹͱ͔ • αʔϏεͱϩʔϧͷ૊Έ߹ΘͤʹΑΔαʔό؅ཧ • Hatena-Blog—DB, Hatena-Blog—Proxy • αʔϏε,ϩʔϧʹج͍ͮͨDNSϨίʔυͷੜ੒ • db.hatena-blog.service.hosts 192.168.0.1 • ωοτϫʔΫʹԠͨ͡IPΞυϨεͷ෷͍ग़͠ • εςʔλε৘ใͷ؅ཧ(working, standby, maintenance,…) • ؂ࢹઃఆͷࣗಈઃఆ • αʔόຖʹϝτϦοΫΛRRDToolʹΑΔՄࢹԽ ·ͩ·ͩػೳ͸͋Δͧ!!!

طଘͷࣾ಺αʔόߏ੒؅ཧπʔϧͷྑ͔ͬͨ఺ • αʔϏεɾϩʔϧͱεςʔλεʹج͍༷ͮͨʑͳػೳ • DNSͷϨίʔυੜ੒ • σϓϩΠઌαʔόͷಛఆ • ؂ࢹઃఆͷࣗಈԽɺ؂ࢹͷ௨஌on,off • ͸ͯͳͷΠϯϑϥج൫Λ10೥ࢧ͑ͨ • վमΛॏͶͯෛ࠴΋ଟ͍͕͔ͬ͠Γࢧ͑ͨ

طଘͷࣾ಺αʔόߏ੒؅ཧπʔϧͷ໰୊఺ • ઐଐͷϝϯςφʔෆࡏ໰୊ • ࣾ಺πʔϧͷϝϯςφϯε͸์ஔ͞Ε͕ͪ • ߏ੒؅ཧπʔϧͰ͔͗͢Δ໰୊ • શ෦͕ґଘ͍ͯͯ͠มߋͷίετ͕ߴ͍ • ྑ͍OSS͕ग़ͨͱ͖ʹ͚ͦͩ͜Ҡߦ͢Δͷ͕೉͍͠ • ωοτϫʔΫଆͷػೳͳͲΛ੝ΓࠐΈ͗ͨ͢

ݱࡏͷࣾ಺αʔόߏ੒؅ཧπʔϧࣄ৘ • MackerelΛαʔό؂ࢹαʔϏεͱͯ͠ϦϦʔε • ߏ੒؅ཧπʔϧͷྑ͍ͱ͜ΖΛ࢒͠ɺࣾ಺ࣄ৘Λഉআ • αʔϏεʹͳΕ͹ϝϯςφʔ΋ͭ͘ʂʂ • ʮࣾ಺੡ͷΞϓϦέʔγϣϯΛOSSʹ͢Δʯͱࣅͨٞ࿦ • ͱ͸͍͑ࣾ಺ࣄ৘΋Πϯϑϥج൫Ͱ͸Χόʔ͢Δඞཁ͕͋Δ • MackerelΛ࢖͍ͭͭɺطଘͷߏ੒؅ཧπʔϧ΋ซ༻ • ࣾ಺ࣄ৘ΛΧόʔ͢Δɺ࣍ͷ10೥Λࢧ͑Δ৽نΠϯϑ ϥج൫ͷ੔උ͕ඞཁ

কདྷͷΠϯϑϥج൫ʹٻΊΒΕΔ͜ͱ • ઐଐͷϝϯςφϯε୲౰͕͚ͭΒΕͳ͍͜ͱ΋͋Δ • 10೥ઌΛݟӽͨ͠׬ᘳͳઃܭ͸΄΅ෆՄೳ • 3೥ఔ౓ͰϦϓϨʔε͢Δඞཁ͕͋Δ • શػೳΛશͯΛϦϓϨʔε͢Δඞཁ͸ͳ͍ Ұ෦ػೳΛ3೥ఔ౓ͰϦϓϨʔεՄೳͳΠϯϑϥج൫ Repairable Infrastructure

Repairable Infrastructure ~ ෼ղͱ࠶ߏங ~

Repairable InfrastructureΛ໨ࢦͨ͢Ίʹ • ෼ղͱ࠶ߏஙΛ͠ɺRepairable InfrastructureΛ໨ࢦ͢ • ΞʔΩςΫνϟͷ෼ղͱ࠶ߏங • ػೳͷ෼ղͱ࠶ߏங

ΞʔΩςΫνϟͷ෼ղͱ࠶ߏங ~ ෼ղͱ࠶ߏங ~

ΞʔΩςΫνϟͷ෼ղͱ࠶ߏங • ࠓ·Ͱͷ֊૚ߏ଄ΛҰճ෼ղ͠ɺ࠶ߏங • ໌֬ͳ୯ޠ͕ͳ͍ͱ͜Ζ͸৽ͨʹఆٛ • ࠶ఆٛྫΛ2ͭ঺հ

શମͷ࿦ཧϨΠϠʔߏ੒(چ) DataCenter or Cloud Container or Serverless Infrastructure Application 4FSWJDF" 4FSWJDF# 4FSWJDF$ *OGSBTUSVDUVSF $MPVE )PVTJOH • σʔληϯλ͔ΒΫϥ΢υͳͲେ͖ͳ؀ڥͷมԽ • αʔϏε਺͕૿͑Δͱ”ྫ֎ͳΠϯϑϥ”͕૿͍͑ͯ͘ • InfrastructureͰ࣮૷͢ΔͱαʔϏε͕૿͑Δͨͼʹվम͕ࠔ೉ • Applicationͱ͍͏ͷ΋Կ͔ҧ͏…

શମͷ࿦ཧϨΠϠʔߏ੒(৽) Resource Domestic Infrastructure Service Adapter Service Application 4FSWJDF" 4FSWJDF# 4FSWJDF$ *OGSBTUSVDUVSF $MPVE )PVTJOH 4FSWJDF"PS# 4FSWJDF$ • Service Adapter ͰαʔϏεࠩҟΛٵऩ • Domestic Infrastructure Ͱࣾ಺ࣄ৘Λٵऩ • Resource ͸AWSɺΦϯϓϨ؀ڥɺαʔόϨεͷϦιʔεͳͲ

Service Adapter LayerΛઃ͚ͨཧ༝ • Πϯϑϥج൫ΛRepairableʹ͢ΔͨΊ • ಛఆαʔϏεͷҝ΁ͷ֦ுΛ܁Γฦ͢ • αʔϏεͷมԽʹΠϯϑϥج൫͕௥͍͚ͭͳ͍ • ΞϓϦέʔγϣϯ΋RepairableʹͳΔ • ୲౰ྖҬͷ໌֬Խ • ΞϓϦέʔγϣϯΤϯδχΞ͕Πϯϑϥࣾ಺ࣄ৘ͷ೺Ѳ͸ࠔ೉ • ΠϯϑϥΤϯδχΞ͕֤αʔϏεͷίʔυঢ়گ೺Ѳ͸ࠔ೉ • Service Adapter͸྆ऀ͕৮Δ

%FCJBO %FCJBO αʔό಺ͷϨΠϠʔߏ੒ • γεςϜ(OS)ʹΠϯετʔϧ͞Ε͍ͯΔ΋ͷΛར༻͢Δ • OSͷมߋͷࡍͷӨڹ͕େ͖͍ => RepairableͰ͸ͳ͍ 1FSM 1FSM "11 "11 APP Layer OS Layer

%FCJBO %FCJBO $POUBJOFS DISPPU $POUBJOFS DISPPU αʔό಺ͷϨΠϠʔߏ੒ • APP͕͔ͭ͏lib, ϛυϧ΢ΣΞ, ࣮ߦ؀ڥΛՄೳͳݶΓ෼཭ • OSͷมߋ͕͠қ͍ => Repairable ! System Library Layer Local Library Layer 1FSM 1FSM 1FSM 1FSM "11 "11 APP Layer OS Layer

αʔό಺ͷϨΠϠʔߏ੒ • localͱsystemͷ෼཭Λ࣮ݱ͢ΔγεςϜ • rbenv, plenv, pyenv, mysqlenv,….. • chroot • ίϯςφٕज़ • ্هͷதͰ΋chroot͕γϯϓϧ͔ͭ൚༻ੑ͕ߴ͍ • docker͸ศར͕ͩɺ͜ͷͨΊ͚ͩʹ࢖͏ͷ͸ॏ͍ • ίϯςφٕज़ͷҰ෦(namespace)ͱchrootͷ૊Έ߹Θͤ • => drootͷ։ൃ • ͜Ε͸ػೳͷ෼ղͱ࠶ߏஙͱ͍͑Δ

ΞʔΩςΫνϟͷ෼ղͱ࠶ߏங • ͜ͷΑ͏ͳײ͡ͰΞʔΩςΫνϟΛ࠶ఆ͍ٛͯ͘͠ • ෼ղͱ࠶ߏங͸ιϑτ΢ΣΞ΍ωοτϫʔΫΛࢀߟʹ

ػೳͷ෼ղͱ࠶ߏங ~ ෼ղͱ࠶ߏங ~

ػೳͷ෼ղͱ࠶ߏங • ػೳͷ෼ղͱ࠶ߏங • ࠶ߏஙͨ͠ΞʔΩςΫνϟͷద߹͢ΔΑ͏ʹ෼ղ͠࠶ߏங • ద߹͢ΔOSS, ϚωʔδυαʔϏεΛ୳͢ • ػೳ͕଍Γͳ͚Ε͹ + αͰ࣮૷͢Δ • ࣮૷ͷࡍʹ͸Repairable͔Ͳ͏͔ߟྀ࣮ͯ͠૷͢Δ • ࠶ͼ෼ղͱ࠶ߏங͕Ͱ͖Δ΋ͷ͔ • ґଘϞδϡʔϧͷଟ͞ɺ࣮૷͕େม͞ͳͲ • কདྷద߹ͨ͠OSS͕ग़͖ͯͨͱ͖ʹҠߦͰ͖Δ͔

ػೳͷ෼ղͱ࠶ߏஙྫ • droot • ฐࣾy_uukiͷൃදͰ͋ͬͨͷͰলུ • IP Drawer • IP෷͍ग़͠ػೳͷ࣮૷

IP෷͍ग़͠ػೳ͕ཉ͔ͬͨ͠ཧ༝ • Ծ૝αʔό࡞੒࣌ͷIPΞυϨεܾఆ • DHCPαʔόΛαʔϏεͷՄ༻ੑͰӡ༻ͨ͘͠ͳ͍ • ΦϯϓϨ͸Ծ૝αʔό࡞੒࣌ʹݻఆʹ͍ͨ͠ • EC2͸VPCͷDHCPͰ΍Γ͍ͨ • VIPͷܾఆ͸ਓ͕΍Γ͍ͨͷͰਓʹ΋෷͍ग़ͯ͠ཉ͍͠ • طଘͷߏ੒؅ཧπʔϧ͔ΒIP෷͍ग़͠ػೳΛ෼཭͍ͨ͠ • ෼ղͱ࠶ߏங • ඞཁͳͷ͸ओʹIPΞυϨεͷ෷͍ग़͠ • DHCPαʔόͰREST APIରԠ͍ͯ͠Δͷ͕Kea͙Β͍ͩͬͨ • IP෷͍ग़ͯ͠ཉ͍͙͠Β͍ͩͬͨͷͰͰ͔ͦ͏ͩͬͨ • golangͱRedisͰαΫοͱΞϧόΠτʹ࡞ͬͯ΋Βͬͨ

࣮ࡍͷ࣮૷ • IPΞυϨεͷ෷͍ग़͠͸RESTͰߦΘΕΔ • DHCPϓϩτίϧͷ࣮૷͸΍Βͳ͔ͬͨ • DHCP͔ΒͷҠߦָ͕ͩ͠ฒߦӡ༻ՄೳͰ࢖༻Λ΍ΊΔ͜ͱ΋೉͘͠ͳ͍ ਓ *1%SBXFS 71$ %)$1 αʔό αʔό IP෷͍ग़͠ IP෷͍ग़͠ IPϦϦʔεࡁΈ IPϦϦʔεࡁΈ IPϦϦʔεࡁΈ IP෷͍ग़͠ DHCPͰઃఆ͍ͨ͠ IPݻఆͰઃఆ͍ͨ͠ IPखಈͰઃఆ͍ͨ͠

ػೳͷ෼ղͱ࠶ߏங • ࠶ߏங͠ͳ͍Ͱద߹͢ΔͳΒͦΕΛར༻͢Δ • μϝͦ͏ͳΒࣾ಺ࣄ৘Λߟྀ͠ɺബ͍࣮૷Λ͢Δ • Domestic Infrastructure Layer͸ബ͘ • ద߹͢Δ΋ͷ͸ੵۃతʹ Resource LayerͰ • ୤ग़ɺϑϧεΫϥονͷେม͞Λߟྀ࣮͠૷ΛબͿ

·ͱΊ • ϏδϣϯΛࣔ͢͜ͱʹΑΓઓུతʹվળΛ͢Δ • ݱࡏ͸෼ղͱ࠶ߏஙʹΑΓΞʔΩςΫνϟͳͲΛఆٛ • ΞʔΩςΫνϟʹैͬͯػೳͷ෼ղͱ࠶ߏங • ػೳͷ੾Γग़͠Λ͢Δ͔ͳͲͷ൑அج४ʹ • ࠓޙ͸؍ଌͱ࣮ݧ΋ճͯ͠ߦ͖͍ͨ • MackerelΛ࠷େݶར༻ͨ͠؍ଌ • ࣮ݧͱϑΟʔυόοΫ੍ޚ