我々はZOZOTOWNのクラウドジャーニーを通じて何を学んだのか？

զʑ͸;0;0508/ͷ Ϋϥ΢υδϟʔχʔΛ௨ͯ͡ ԿΛֶΜͩͷ͔ʁ 株式会社ZOZOテクノロジーズ開発部 ZOZOTOWNリプレースチーム川崎庸市 $PQZSJHIU;0;05FDIOPMPHJFT *OD
" %FWFMPQFST4VNNJU

;0;05FDIOPMPHJFT *OD גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ ;0;0508/ϦϓϨʔενʔϜ ΤϯδχΞ ઒࡚ ༱ࢢ Yoichi Kawasaki
աڈʹɺϠϑʔגࣜձࣾʹͯΠϯλʔωοταʔϏεͷج൫ϓϥοτ ϑΥʔϜ։ൃΤϯδχΞɺϚΠΫϩιϑτʹͯΤϯλʔϓϥΠζݕࡧ ͷίϯαϧɺΫϥ΢υͷιϦϡʔγϣϯΞʔΩςΫτ౳Λܦͯɺݱࡏ͸ ;0;0ςΫϊϩδʔζͰ;0;0508/ͷΫϥ΢υ࡮৽ϓϩδΣΫτͷ ୲౰ΤϯδχΞɻ ଞɺۀ຿֎Ͱ/P0QT+BQBOίϛϡχςΟʔӡӦ 2 @yokawasa https://github.com/yokawasa

;0;05FDIOPMPHJFT *OD IUUQT[P[PKQ ˔ ೔ຊ࠷େڃͷϑΝογϣϯ௨ൢαΠτ ˔ Ҏ্ͷγϣοϓɺ Ҏ্ͷϒϥϯυͷऔΓѻ͍ʢͱ΋ ʹ೥݄຤࣌఺ʣ
˔ ৗ࣌ສ఺Ҏ্ͷ঎඼ΞΠςϜ਺ͱຖ೔ฏۉ ఺Ҏ্ͷ৽ண ঎඼Λܝࡌ ˔ ଈ೔഑ૹαʔϏε ˔ ΪϑτϥοϐϯάαʔϏε ˔ πέ෷͍ ͳͲ 4

;0;05FDIOPMPHJFT *OD IUUQTXFBSKQ 6 ˔ ೔ຊ࠷େڃͷϑΝογϣϯίʔσΟωʔτΞϓϦ ˔ ສμ΢ϯϩʔυಥഁɺίʔσΟωʔτ౤ߘ૯਺͸ສ݅ Ҏ্ʢͱ΋ʹ೥݄຤࣌఺ʣ
˔ શੈքʢ"QQ4UPSF(PPHMF1MBZ͕ར༻ՄೳͳશͯͷࠃʣͰμ ΢ϯϩʔυ͕Մೳ ˔ ສਓҎ্ͷϑΥϩϫʔΛ࣋ͭϢʔβʔʢ8&"3*45"ʣ΋஀ੜ

;0;05FDIOPMPHJFT *OD IUUQT[P[PKQNVMUJTJ[F ˔ ਎௕ͱମॏΛબ୒͢Δ͚ͩͰཧ૝ͷαΠζͷ঎඼͕ݟ͔ͭΔ৽͠ ͍༸෰ͷങ͍ํ ˔ ;0;046*5Ͱಘͨສ݅Ҏ্ͷମܕσʔλΛ׆༻͠ɺʙ αΠζͷϚϧναΠζʢଟαΠζʣʹల։ ˔
೥ळౙΞΠςϜ͔ΒɺਓؾϒϥϯυͷϚϧναΠζΞΠς ϜΛൢച։࢝ ʲࢀՃاۀʳ גࣜձࣾΞʔόϯϦαʔνɺגࣜձࣾετϥΠϓΠϯλʔφγϣφϧɺ גࣜձࣾσΠτφɾΠϯλʔφγϣφϧɺגࣜձࣾύϧɺגࣜձࣾϏʔϜεɺ גࣜձࣾϕΠΫϧʔζɺ."3,45:-&3גࣜձࣾɺϦʔόΠɾετϥ΢ε δϟύϯגࣜձࣾ ͳͲ 7

;0;05FDIOPMPHJFT *OD ηογϣϯ֓ཁ զʑZOZOςΫϊϩδʔζ͸೔ຊ࠷େڃͷϑΝογϣϯ௨ൢαΠτ 「ZOZOTOWN」ͷج൫ΛΦϯϓϨϕʔε͔ΒΫϥ΢υʢAzure, AWSͳͲʣ Λ׆༻ͨ͠ཧ૝ͷγεςϜʹ࡮৽͍ͯ͘͠ϓϩδΣΫτΛਪਐ͍ͯ͠·͢ɻ ຊηογϣϯͰ͸ͦͷதͰ΋ZOZOTOWNͷόοΫΤϯυࢀরܥAPIγες ϜͰͷܦݧʹϑΥʔΧεΛ౰ͯɺ͜Ε·ͰͷܦݧɺϓϩδΣΫτ௨ֶͯ͡Μ ͩ஌ݟ͍࣮ͭͯࡍͷΤϐιʔυΛަ͓͑ͯ࿩͠·͢ɻΫϥ΢υ࡮৽ɺҠߦΛ
ߟ͍͑ͯΔํʑʹͱͬͯώϯτΛಘΔ͖͔͚ͬ΍ɺҰา֎ʹ౿Έग़͖͔ͬ͢ ͚ʹͳΕΕ͹޾͍Ͱ͢ɻ 8

;0;05FDIOPMPHJFT *OD 9 ;0;0508/Ϋϥ΢υδϟʔχʔ ʙ͜Ε·ͰͷಓͷΓʙ

;0;05FDIOPMPHJFT *OD 10 DevOps is the practice of developers being
responsible for operating their services in production, 24/7. This includes development using shared infrastructure primitives, testing, on-call, reliability engineering, disaster recovery, defining SLOs, monitoring setup and alarming, debugging and performance analysis, incident root cause analysis, provisioning and deployment, etc. The human scalability of “DevOps” https://medium.com/@mattklein123/the-human-scalability-of-devops-e36c37d3db6a ϦϓϨʔενʔϜͷ׆ಈͱΑ͘ࣅ͍ͯΔ &OWPZ։ൃऀʹΑΔ%FW0QTఆٛ

;0;05FDIOPMPHJFT *OD 11 DevOps is the practice of developers being
responsible for operating their services in production, 24/7. This includes development using shared infrastructure primitives, testing, on-call, reliability engineering, disaster recovery, defining SLOs, monitoring setup and alarming, debugging and performance analysis, incident root cause analysis, provisioning and deployment, etc. The human scalability of “DevOps” https://medium.com/@mattklein123/the-human-scalability-of-devops-e36c37d3db6a ϦϓϨʔενʔϜͷ׆ಈͱΑ͘ࣅ͍ͯΔ &OWPZ։ൃऀʹΑΔ%FW0QTఆٛ YͰຊ൪αʔϏεӡ༻ʹ੹೚Λ࣋ͭͱ͍͏։ൃऀʹΑΔ׆ಈ ͜ͷ׆ಈʹ͸ɺ։ൃɺςετɺPODBMMɺ৴པੑͷͨΊͷΤϯδχΞϦϯά׆ಈɺ ࡂ֐෮چɺ4-0ͷఆٛɺ؂ࢹઃఆͱɺσόοάͱύϑΥʔϚϯε෼ੳɺ໰୊ͷࠜຊݪ Ҽ෼ੳɺιϑτ΢ΣΞͷॳظઃఆͱల։ͳͲؚ͕·Ε·͢ɻ

;0;05FDIOPMPHJFT *OD ;0;0508/ϦϓϨʔεͷഎܠ Ϗδωε֦େʹ൐͏ར༻ऀˍෛՙ૿ɺৼΕ෯ͷେ͖͍قઅมಈɺ ૿͑ଓ͚Δ৽ػೳཁ݅ͱࢢ৔౤ೖ଎౓୹ॖԽͷཁٻ͕͋ΔதͰ ϦϓϨʔεલͷγεςϜʢΦϯϓϨͰϞϊϦεʣ͸͞·͟·ͳ ໰୊Λ๊͍͑ͯͨ • ͕͔͔࣌ؒΔϦιʔεௐୡ •
Πϯϑϥߏஙɾӡ༻ͷखؒͷ૿େ • γεςϜෛՙͱσʔλ૿ʹ൐͏ύϑΥʔϚϯεྼԽ 12

;0;05FDIOPMPHJFT *OD ;0;0508/ϦϓϨʔεͷഎܠ 13 ͜ͷҐஔʹ߹Θͤͯ ७૿෼ͷαʔόΛ ຖ೥ങ͍଍͞ͳ͚Ε ͹ͳΒͳ͍

;0;05FDIOPMPHJFT *OD ϦϓϨʔεલͷࢀরܥ"1*ΞʔΩςΫνϟ 14 on-premises SQL Server on-premises IIS Server
SQL .asp ετΞυݺͼग़͠ Data Center ௒ີ݁߹

;0;05FDIOPMPHJFT *OD ϦϓϨʔεઓུ αϒγεςϜ͝ͱʹஈ֊తʹ࣮ࢪ • αϒγεςϜ͝ͱʹஈ֊తʢ/ˠʣʹΫϥ΢υϕʔεʹ࡮৽ /P0QT-FTT0QT • ߏஙɾӡ༻ίετΛলྗԽ͢ΔͨΊੵۃతʹ1BB4ɺ4BB4ͳͲͰ͖Δ͚ͩந৅Խɺ ࣗಈԽ͞ΕͨαʔϏεΛੵۃతʹ׆༻
Ϋϥ΢υதཱʢ$MPVE"HOPTUJDʣ • ϚϧνΫϥ΢υɺΫϩεΫϥ΢υͰߏ੒Ͱ͖ΔΑ͏ʹಛఆΫϥ΢υʹա౓ͳґଘΛ ͠ͳ͍πʔϧɾαʔϏεબఆͱઃܭ 15

;0;05FDIOPMPHJFT *OD Azure ࢀরܥ"1*ΞʔΩςΫνϟ 16 Azure SQL Database on-premises IIS
Server SQL .asp Data Center AKS pods "1*ݺͼग़͠ "1*Խ ૄ݁߹ ϦϓϨʔεର৅

;0;05FDIOPMPHJFT *OD ϚϧνΫϥ΢υ΁ͷ଩੾Γ ໨తɿ410'ʢ୯Ұো֐఺ʣͷճආ • ୯ҰΫϥ΢υͰϦʔδϣϯผΫϥελ෼ࢄҊ΋౰ॳ͋ͬͨ • Ϋϥ΢υͷେن໛ো֐ɺఆظɾෆఆظϝϯςϯφεʹؔ܎ ͳ҆͘ఆతʹαʔϏεΛܧଓ͔ͤͨͬͨ͞ 17
ZOZOTOWN オンプレ参照系API 参照系API Azure

;0;05FDIOPMPHJFT *OD αʔϏεˍιϑτ΢ΣΞελοΫ 18 Container Orchestrator Datastore Workflow Web /
App Automation / Configuration Observability CI/CD, Code Repository SQL Server Azure DB for PostgreSQL RDS for SQL RDS for PostgreSQL AKS Ansible Kustomize CircleCI GitHub ArgoCD

;0;05FDIOPMPHJFT *OD 20 ;0;0508/Ϋϥ΢υδϟʔχʔ ʙֶͼɺ࣮ફɺ৺ߏ͑ʙ

;0;05FDIOPMPHJFT *OD Ϋϥ΢υ͸ෆ҆ఆͰ͋Δʢͱ͍͏લఏͰߟ͑Δʣ Ϋϥ΢υ͸Ӭԕͷϕʔλ൛ɻΦϯϓϨʹൺ΂ෆ҆ఆͰ͋Δ͜ͱ લఏͰݕ౼ΛਐΊΔඞཁ͕͋Δ ཁҼͦͷᶃɿܧଓతϝϯςφϯε Ϋϥ΢υಛ༗ͷϝϯςφϯεͱͷ෇͖߹͍͕ඞཁͱͳΔɻ࠶ىಈͳͲͰαʔ ϏεஅΛཁ͢Δ΋ͷ΋͋ΔͷͰɺ౰વͳ͕Βର৅Ϧιʔε͸ෆ҆ఆʹͳΔ • ࣄલ௨஌͋Γͷܭըతϝϯςφϯε
• ࣄલ௨஌ͳ͠ͷۓٸϝϯςφϯε ཁҼͦͷᶄɿڞ༗Ϧιʔε Ϧιʔε͕׬શઐ༗ܕͰ͸ͳ͘ɺڞ༗ܕɾ૬৐ΓܕͰ͋Δ৔߹͸ ͏Δ͍͞ྡਓ໰୊ʢ/PJTZ/FJHICPSTʣ͕͋Δ 21

;0;05FDIOPMPHJFT *OD Ϋϥ΢υ͸੹೚ڞ༗Ϟσϧ Ϋϥ΢υϕϯμʔͱར༻ऀͷ؅ཧݖݶʹԠͨ͡੹೚෼୲ͷߟ͑ํ 22 • ($1ྫɿʮΞϓϦϨϕϧͰͷσʔλ੍ޚʯ ͸ར༻ऀͷ੹೚ • "[VSFྫɿαʔϏεϞσϧผϕϯμʔͱར༻
ऀͷ੹೚෼୲ʢӈਤʣ 総務省 ICTスキル総合習得教材 2-3: クラウドの特性とセキュリティ https://www.soumu.go.jp/ict_skill/pdf/ict_skill_2_3.pdf ଟ͔Εগͳ͔Ε؅ཧ੹೚͸ར༻ऀͰ͋Δࣗ෼ ͨͪʹ͋Δ͜ͱΛೝࣝ͠ɺΦʔφʔγοϓΛ ࣋ͬͯରࡦΛߦ͏͜ͱ

;0;05FDIOPMPHJFT *OD ݎ࿚ੑΑΓճ෮ੑ %FTJHOGPS3FTJMJFODZ ճ෮ੑ ʹ ো֐͔Βճ෮ͯ͠ಈ࡞Λଓߦ͢ΔγεςϜͷೳྗ ো֐ճආ͕໨తͰ͸ͳ͘ɺμ΢ϯλΠϜ΍σʔλଛࣦΛճආ͠ αʔϏεͷఏڙΛҡ࣋Ͱ͖ΔγεςϜ
લఏɿΫϥ΢υ͸յΕΔ ʴ ܧଓతΞοϓσʔτ 23

;0;05FDIOPMPHJFT *OD ݎ࿚ੑΑΓճ෮ੑ %FTJHOGPS3FTJMJFODZ ճ෮ੑͷ͋ΔϓϥοτϑΥʔϜબ୒ ϚωʔδυαʔϏεɺ1BB4ɺ$BB4ɺ4FSWFSMFTT ճ෮ੑͷ͋ΔΞϓϦέʔγϣϯઃܭ 24 アプリケーション回復性パターン
https://docs.microsoft.com/ja-jp/dotnet/architecture/cloud-native/application-resiliency-patterns

;0;05FDIOPMPHJFT *OD ࢀরܥ"1*ͷओͳճ෮ੑػೳ ϚϧνΤϯυϙΠϯτɾΫϥελͷෛՙ෼ࢄ • --#ͱLT3FBEJOFTT-JWFOFTT1SPCF • ױ෦Λ੾Γ཭ͤΔߏ੒ʢӡ༻ऀʹͱͬͯ`੾Γ཭ͤΔ`ͱ͍͏৺ཧత҆৺ײ͸ઈେʣ ΞϓϦͷΦʔτώʔϦϯά •
,VCFSOFUFTΦʔτώʔϦϯάػೳ "1*ϦΫΤετͷϦτϥΠ • ϚϧνΫϥ΢υؒͰͷϦΫΤετͷϦτϥΠʴྲྀྔׂ߹੍ޚ "1*ϦΫΤετͷαʔΩοτϒϨʔΧʔ • ແݶϦτϥΠ๷ࢭ 25

;0;05FDIOPMPHJFT *OD Ϋϥ΢υϦιʔε͸༗ݶ Ϋϥ΢υϦιʔε͸෺ཧࢿݯ͕ιϑτ΢ΣΞͰԾ૝Խɾந৅Խ ͞Εͨ΋ͷɻ༧Ίେྔʹ༻ҙ͞Ε͍ͯΔͱ͸͍͑༗ݶͰ͋Δ • ͍ͭͰ΋ظ଴௨ΓʹϦιʔε֬อ͕Ͱ͖Δͱ͸ݶΒͳ͍ɻ7.࡞੒͕ࣦഊ͠ ͨΓɺεέʔϧมߋʹࣦഊ͢Δ͜ͱ΋͋Δ • Ϋϥ΢υϕϯμʔͷधཁ༧ଌΛ্ճΔਓؾͷ঎඼΍ɺಛఆͷ঎඼Λେྔങ
͍͢Δ৔߹͸஫ҙ͕ඞཁ ΩϟύγςΟϓϥϯχϯάͱΫϥ΢υϕϯμʔ૬ஊ • લ΋ͬͯେྔϦιʔε֬อ͕ඞཁͱͳΔ͜ͱ͕Θ͔͍ͬͯΔ৔߹ɺͰ͖Δ ͚ͩૣ͘Ϋϥ΢υϕϯμʔʹΩϟύγςΟ֬อΛ૬ஊ͢΂͖ 26

;0;05FDIOPMPHJFT *OD 27 このタイミングでDB スケールアップを実施。ただしキャパシティ確保できず失敗に終わるピークアクセスによりCPU100% に張り付く
DB CPU% %#αΠζมߋࣦഊྫ !ͱ͋ΔηʔϧΠϕϯτ CPU100%ライン

;0;05FDIOPMPHJFT *OD ෆ֬ఆཁૉʢ$IBPTʣ ;0;0508/ओཁηʔϧΠϕϯτʹࡍͯ͠ɺࣄલʹे෼ͳ४උ Λߦͬͨʹ΋͔͔ΘΒͣ૝ఆ௨Γͷ݁Ռ͕ಘΒΕͳ͔ͬͨ • ૝ఆΛ௒͑ΔαʔϏεΞΫηε਺ɺύλʔϯ • ૝ఆ֎ͷϘτϧωοΫ •
૝ఆ֎ͷಈ͖Λͯ͘͠Εͳ͍Ϋϥ΢υαʔϏε ৗʹෆ֬ఆཁૉʢ$IBPTʣ͕͋Δ͜ͱΛҙࣝ͠ɺ͍ͣΕͷ໰୊͕ൃੜ ͯ͠΋αʔϏεΛܧଓͰ͖ΔΑ͏ʹඋ͑Δඞཁ͕͋Δ 28

;0;05FDIOPMPHJFT *OD ΧΦεΤϯδχΞϦϯάͷݪଇ 29 http://principlesofchaos.org/?lang=JAcontent ΧΦεΤϯδχΞϦϯάͱ͸෼ࢄγεςϜʹ͓͍ͯγεςϜ͕ෆ҆ఆ ͳঢ়ଶʹ଱͑Δ͜ͱͷग़དྷΔ؀ڥΛߏங͢ΔͨΊͷݕূͷن཯Ͱ͢ • ఆৗঢ়ଶʹ͓͚ΔৼΔ෣͍ͷԾઆΛཱͯΔ •
࣮ੈքͷࣄ৅͸ଟ༷Ͱ͋Δ • ຊ൪؀ڥͰݕূΛ࣮ߦ͢Δ • ܧଓతʹ࣮ߦ͢ΔݕূͷࣗಈԽ • ӨڹൣғΛہॴԽ͢Δ

;0;05FDIOPMPHJFT *OD ڥքઢʹજΜͰ͍ͨѱຐ ෛՙࢼݧͰ͸ݟ͑ͯ͜ͳ͍ຊ൪ΞΫηεͰҾ͖ى͜͞Εͨ૝ఆ֎ͷ໰୊ 30 SQL Database Azure Cache For
Redis 参照系APIアプリ参照クエリクエリ結果キャッシュ ΞϓϦͱ%#3FEJTͷ઀ଓ • %#ෛՙܰݮͷͨΊʹΫΤϦ݁ՌΛ3FEJT$BDIF αʔϏεʹΩϟογϡ͢Δߏ੒ ൃੜͨ͠ࣄ৅ • ௨ৗͱൺ΂ΞΫηε਺͕૿େ͢Δ;0;0508/ ओཁηʔϧΠϕϯτ࣌ʹ3FEJT$BDIFαʔϏε ͷ$16͕ͰுΓ෇͘ • ͜ͷͱ͖3FEJT΁ͷϦΫΤετظ଴௨Γʹ 5JNFPVUͰ໭Βͣɺ݁ՌϢʔβʔϦΫΤετͷ 5JNFPVU͕සൃ • 3FEJT$16͕͕༠ൃͨ͠૝ఆ֎ͷࣄ৅

;0;05FDIOPMPHJFT *OD Ϋϥ΢υ͸ܾͯ҆͘͠ͳ͍ • ίετ࡟ݮΛ໨తͱ͠ͳ͍͜ͱ • ΦϯϓϨͷݮՁঈ٫Ϟσϧʹൺ΂Ϋϥ΢υͷैྔ՝ۚϞσϧ͸௕ظ తʹݟׂͯߴʹͳΔ͜ͱ͕ଟ͍ • Կʹର͓ͯۚ͠Λ෷͏ͷ͔ΛࠓҰ౓ߟ͑Α͏
31 Մ༻ੑ ࢢ৔౤ೖ଎౓ ηΩϡϦςΟ ֵ৽ Πϊϕʔγϣϯ ࣗಈԽ *B$ͱͷ૬ੑ IaC = Infrastructure as Code

;0;05FDIOPMPHJFT *OD ίετ࡟ݮରࡦྫ r %#ίΞͷεέʔϧมߋ Ұ೔ͷ%#ͷ$16ෛՙঢ়گͷنଇੑΛར༻ͨ͠%#ίΞ਺มߋͷࣗ ಈεέδϡʔϦϯάΛ࣮ࢪɻෛՙ͕௿͍࣌ؒଳͷίΞ਺Λௐ੔͠ ͯίετ࡟ݮ͢ΔΞϓϩʔν 32 ある平日のDB(SQL)のCPU負荷推移グラフ
深夜帯 ෛՙ͕௿͍࣌ؒଳʹ%#Ϋϥελͷߏ੒ϊʔυ਺ͱ શମͷίΞ਺ΛԼ͛ΔεέδϡʔϥʔΛ։ൃɻ ͜ΕʹΑΓෛՙ͕௿͍ਂ໷ଳͷίετ࡟ݮʹ੒ޭ ͳ͓ɺݱࡏ͸࣮ࡍͷෛՙʹԠͨ͡ಈతεέʔϥʔ Λ։ൃத

;0;05FDIOPMPHJFT *OD ֶशͷجຊ࢟੎ʹ͍ͭͯ Ϋϥ΢υʹ͓͍ͯϢʔβʔ͸ࣗݾֶश͕جຊ • Ϋϥ΢υɺΫϥ΢υωΠςΟϒ͸ਐԽͷεϐʔυ͕଎͘ɺͦΕΒٕज़Λ࢖ ͍͜ͳ͍ͯ͘͠ʹ͸ண࣮ʹΩϟονΞοϓ͢Δ࢟੎ͱػಈྗ͕ඞཁ • 4*FS΍ϕϯμʔαϙʔτ΁ͷؙ౤͛ํࣜͰ͸εϐʔυײΛอͭ͜ͱ͸೉͠ ͘ͳΔɻϝϯλʔͱϝϯςΟʔͷؔ܎͕ͪΐ͏ͲΑ͍ɻ
• άϩʔόϧͰͷࣗࣾΤϯδχΞʹΑΔ಺੡ܕ։ൃͷ੒ޭࣄྫ΋૿͍͑ͯΔ 33 ࠷ޙ͸ɺࣗ෼ͨͪͰಆ͏ʂͱ͍͏࢟੎

;0;05FDIOPMPHJFT *OD ;0;0508/ϦϓϨʔεͷ͜Ε͔Βͷ׆ಈ • ར༻ܗଶʹదͨ͠࠷దͳσʔλετΞͷબ୒ • 42-4FSWFS΁ͷա౓ͳґଘ͔Βσʔλߏ଄͝ͱʹ࠷దͳσʔλετΞར༻ʹҠߦ • ଞͷΦϯϓϨαϒγεςϜͷΫϥ΢υԽ •
ΦϯϓϨ8FCαʔόɺΧʔτγεςϜɺجװγεςϜɺFUDɾɾɾ 34

;0;05FDIOPMPHJFT *OD ·ͱΊ • Ϋϥ΢υ͸Ӭԕͷϕʔλ൛ɻΦϯϓϨͱൺ΂ෆ҆ఆ͔ͭෆ֬ఆ ཁૉ͸ଟ͍͕ɺ׆༻͢Δ͜ͱͰಘΒΕΔϝϦοτ͸ඇৗʹଟ͍ • Ϋϥ΢υΛཧղ͠ɺਖ਼͘͠޲͖߹͏͜ͱͰϓϥοτϑΥʔϜͷ ೳྗɾಛੑΛ࠷େݶʹڗड͢Δ͜ͱ͕Ͱ͖·͢ •
ੋඇ͜ΕΛ͖͔͚ͬʹ͋ͨͳͷΫϥ΢υδϟʔχʔʹҰา౿Έ ग़ͯ͠Έ͍ͯͩ͘͞ 35

;0;05FDIOPMPHJFT *OD 36 We’re hiring! https://tech.zozo.com/recruit/ ZOZOテクノロジーズでは、一緒にサービスを作り上げてくれる方を募集しています。ご興あ味がある方は以下のリンクから是非ご応募ください！

我々はZOZOTOWNのクラウドジャーニーを通じて何を学んだのか？

我々はZOZOTOWNのクラウドジャーニーを通じて何を学んだのか？

Yoichi Kawasaki

More Decks by Yoichi Kawasaki

Other Decks in Technology

Featured

Transcript

զʑ͸;0;0508/ͷ Ϋϥ΢υδϟʔχʔΛ௨ͯ͡ ԿΛֶΜͩͷ͔ʁ 株式会社ZOZOテクノロジーズ開発部 ZOZOTOWNリプレースチーム川崎庸市 $PQZSJHIU;0;05FDIOPMPHJFT *OD

;0;05FDIOPMPHJFT *OD גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ ;0;0508/ϦϓϨʔενʔϜ ΤϯδχΞ ઒࡚ ༱ࢢ Yoichi Kawasaki

;0;05FDIOPMPHJFT *OD IUUQT[P[PKQ ˔ ೔ຊ࠷େڃͷϑΝογϣϯ௨ൢαΠτ ˔ Ҏ্ͷγϣοϓɺ Ҏ্ͷϒϥϯυͷऔΓѻ͍ʢͱ΋ ʹ೥݄຤࣌఺ʣ

;0;05FDIOPMPHJFT *OD IUUQTXFBSKQ 6 ˔ ೔ຊ࠷େڃͷϑΝογϣϯίʔσΟωʔτΞϓϦ ˔ ສμ΢ϯϩʔυಥഁɺίʔσΟωʔτ౤ߘ૯਺͸ສ݅ Ҏ্ʢͱ΋ʹ೥݄຤࣌఺ʣ

;0;05FDIOPMPHJFT OD IUUQT[P[PKQNVMUJTJ[F ˔ ਎௕ͱମॏΛબ୒͢Δ͚ͩͰཧ૝ͷαΠζͷ঎඼͕ݟ͔ͭΔ৽͠ ͍༸෰ͷങ͍ํ ˔ ;0;0465Ͱಘͨສ݅Ҏ্ͷମܕσʔλΛ׆༻͠ɺʙ αΠζͷϚϧναΠζʢଟαΠζʣʹల։ ˔

;0;05FDIOPMPHJFT *OD 9 ;0;0508/Ϋϥ΢υδϟʔχʔ ʙ͜Ε·ͰͷಓͷΓʙ

;0;05FDIOPMPHJFT *OD 10 DevOps is the practice of developers being

;0;05FDIOPMPHJFT *OD 11 DevOps is the practice of developers being

;0;05FDIOPMPHJFT *OD ;0;0508/ϦϓϨʔεͷഎܠ 13 ͜ͷҐஔʹ߹Θͤͯ ७૿෼ͷαʔόΛ ຖ೥ങ͍଍͞ͳ͚Ε ͹ͳΒͳ͍

;0;05FDIOPMPHJFT OD ϦϓϨʔεલͷࢀরܥ"1ΞʔΩςΫνϟ 14 on-premises SQL Server on-premises IIS Server

;0;05FDIOPMPHJFT *OD ϦϓϨʔεઓུ αϒγεςϜ͝ͱʹஈ֊తʹ࣮ࢪ • αϒγεςϜ͝ͱʹஈ֊తʢ/ˠʣʹΫϥ΢υϕʔεʹ࡮৽ /P0QT-FTT0QT • ߏஙɾӡ༻ίετΛলྗԽ͢ΔͨΊੵۃతʹ1BB4ɺ4BB4ͳͲͰ͖Δ͚ͩந৅Խɺ ࣗಈԽ͞ΕͨαʔϏεΛੵۃతʹ׆༻

;0;05FDIOPMPHJFT OD Azure ࢀরܥ"1ΞʔΩςΫνϟ 16 Azure SQL Database on-premises IIS

;0;05FDIOPMPHJFT *OD ϚϧνΫϥ΢υ΁ͷ଩੾Γ ໨తɿ410'ʢ୯Ұো֐఺ʣͷճආ • ୯ҰΫϥ΢υͰϦʔδϣϯผΫϥελ෼ࢄҊ΋౰ॳ͋ͬͨ • Ϋϥ΢υͷେن໛ো֐ɺఆظɾෆఆظϝϯςϯφεʹؔ܎ ͳ҆͘ఆతʹαʔϏεΛܧଓ͔ͤͨͬͨ͞ 17

;0;05FDIOPMPHJFT *OD αʔϏεˍιϑτ΢ΣΞελοΫ 18 Container Orchestrator Datastore Workflow Web /

;0;05FDIOPMPHJFT *OD 20 ;0;0508/Ϋϥ΢υδϟʔχʔ ʙֶͼɺ࣮ફɺ৺ߏ͑ʙ

;0;05FDIOPMPHJFT *OD Ϋϥ΢υ͸੹೚ڞ༗Ϟσϧ Ϋϥ΢υϕϯμʔͱར༻ऀͷ؅ཧݖݶʹԠͨ͡੹೚෼୲ͷߟ͑ํ 22 • ($1ྫɿʮΞϓϦϨϕϧͰͷσʔλ੍ޚʯ ͸ར༻ऀͷ੹೚ • "[VSFྫɿαʔϏεϞσϧผϕϯμʔͱར༻

;0;05FDIOPMPHJFT *OD ݎ࿚ੑΑΓճ෮ੑ %FTJHOGPS3FTJMJFODZ ճ෮ੑ ʹ ো֐͔Βճ෮ͯ͠ಈ࡞Λଓߦ͢ΔγεςϜͷೳྗ ো֐ճආ͕໨తͰ͸ͳ͘ɺμ΢ϯλΠϜ΍σʔλଛࣦΛճආ͠ αʔϏεͷఏڙΛҡ࣋Ͱ͖ΔγεςϜ

;0;05FDIOPMPHJFT *OD ݎ࿚ੑΑΓճ෮ੑ %FTJHOGPS3FTJMJFODZ ճ෮ੑͷ͋ΔϓϥοτϑΥʔϜબ୒ ϚωʔδυαʔϏεɺ1BB4ɺ$BB4ɺ4FSWFSMFTT ճ෮ੑͷ͋ΔΞϓϦέʔγϣϯઃܭ 24 アプリケーション回復性パターン

;0;05FDIOPMPHJFT OD ࢀরܥ"1ͷओͳճ෮ੑػೳ ϚϧνΤϯυϙΠϯτɾΫϥελͷෛՙ෼ࢄ • --#ͱLT3FBEJOFTT-JWFOFTT1SPCF • ױ෦Λ੾Γ཭ͤΔߏ੒ʢӡ༻ऀʹͱͬͯ`੾Γ཭ͤΔ`ͱ͍͏৺ཧత҆৺ײ͸ઈେʣ ΞϓϦͷΦʔτώʔϦϯά •

;0;05FDIOPMPHJFT *OD 27 このタイミングでDB スケールアップを実施。ただしキャパシティ確保できず失敗に終わるピークアクセスによりCPU100% に張り付く

;0;05FDIOPMPHJFT *OD ෆ֬ఆཁૉʢ$IBPTʣ ;0;0508/ओཁηʔϧΠϕϯτʹࡍͯ͠ɺࣄલʹे෼ͳ४උ Λߦͬͨʹ΋͔͔ΘΒͣ૝ఆ௨Γͷ݁Ռ͕ಘΒΕͳ͔ͬͨ • ૝ఆΛ௒͑ΔαʔϏεΞΫηε਺ɺύλʔϯ • ૝ఆ֎ͷϘτϧωοΫ •

;0;05FDIOPMPHJFT *OD ΧΦεΤϯδχΞϦϯάͷݪଇ 29 http://principlesofchaos.org/?lang=JAcontent ΧΦεΤϯδχΞϦϯάͱ͸෼ࢄγεςϜʹ͓͍ͯγεςϜ͕ෆ҆ఆ ͳঢ়ଶʹ଱͑Δ͜ͱͷग़དྷΔ؀ڥΛߏங͢ΔͨΊͷݕূͷن཯Ͱ͢ • ఆৗঢ়ଶʹ͓͚ΔৼΔ෣͍ͷԾઆΛཱͯΔ •

;0;05FDIOPMPHJFT *OD ڥքઢʹજΜͰ͍ͨѱຐ ෛՙࢼݧͰ͸ݟ͑ͯ͜ͳ͍ຊ൪ΞΫηεͰҾ͖ى͜͞Εͨ૝ఆ֎ͷ໰୊ 30 SQL Database Azure Cache For

;0;05FDIOPMPHJFT *OD Ϋϥ΢υ͸ܾͯ҆͘͠ͳ͍ • ίετ࡟ݮΛ໨తͱ͠ͳ͍͜ͱ • ΦϯϓϨͷݮՁঈ٫Ϟσϧʹൺ΂Ϋϥ΢υͷैྔ՝ۚϞσϧ͸௕ظ తʹݟׂͯߴʹͳΔ͜ͱ͕ଟ͍ • Կʹର͓ͯۚ͠Λ෷͏ͷ͔ΛࠓҰ౓ߟ͑Α͏

;0;05FDIOPMPHJFT *OD ίετ࡟ݮରࡦྫ r %#ίΞͷεέʔϧมߋ Ұ೔ͷ%#ͷ$16ෛՙঢ়گͷنଇੑΛར༻ͨ͠%#ίΞ਺มߋͷࣗ ಈεέδϡʔϦϯάΛ࣮ࢪɻෛՙ͕௿͍࣌ؒଳͷίΞ਺Λௐ੔͠ ͯίετ࡟ݮ͢ΔΞϓϩʔν 32 ある平日のDB(SQL)のCPU負荷推移グラフ

;0;05FDIOPMPHJFT *OD ;0;0508/ϦϓϨʔεͷ͜Ε͔Βͷ׆ಈ • ར༻ܗଶʹదͨ͠࠷దͳσʔλετΞͷબ୒ • 42-4FSWFS΁ͷա౓ͳґଘ͔Βσʔλߏ଄͝ͱʹ࠷దͳσʔλετΞར༻ʹҠߦ • ଞͷΦϯϓϨαϒγεςϜͷΫϥ΢υԽ •

;0;05FDIOPMPHJFT *OD ·ͱΊ • Ϋϥ΢υ͸Ӭԕͷϕʔλ൛ɻΦϯϓϨͱൺ΂ෆ҆ఆ͔ͭෆ֬ఆ ཁૉ͸ଟ͍͕ɺ׆༻͢Δ͜ͱͰಘΒΕΔϝϦοτ͸ඇৗʹଟ͍ • Ϋϥ΢υΛཧղ͠ɺਖ਼͘͠޲͖߹͏͜ͱͰϓϥοτϑΥʔϜͷ ೳྗɾಛੑΛ࠷େݶʹڗड͢Δ͜ͱ͕Ͱ͖·͢ •

;0;05FDIOPMPHJFT *OD 36 We’re hiring! https://tech.zozo.com/recruit/ ZOZOテクノロジーズでは、一緒にサービスを作り上げてくれる方を募集しています。ご興あ味がある方は以下のリンクから是非ご応募ください！