我々はZOZOTOWNのクラウドジャーニーを通じて何を学んだのか？

Developers Summit 2020プレゼンテーション資料

Transcript

1. զʑ͸;0;0508/ͷ Ϋϥ΢υδϟʔχʔΛ௨ͯ͡ ԿΛֶΜͩͷ͔ʁ 株式会社ZOZOテクノロジーズ 開発部 ZOZOTOWNリプレースチーム 川崎 庸市 $PQZSJHIU
   ˜
   ;0;0
   5FDIOPMPHJFT
   *OD " %FWFMPQFST
   4VNNJU
    
2. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD גࣜձࣾ;0;0ςΫϊϩδʔζ ։ൃ෦ ;0;0508/ϦϓϨʔενʔϜ ΤϯδχΞ ઒࡚ ༱ࢢ Yoichi Kawasaki աڈʹɺϠϑʔגࣜձࣾʹͯΠϯλʔωοταʔϏεͷج൫ϓϥοτ ϑΥʔϜ։ൃΤϯδχΞɺϚΠΫϩιϑτʹͯΤϯλʔϓϥΠζݕࡧ ͷίϯαϧɺΫϥ΢υͷιϦϡʔγϣϯΞʔΩςΫτ౳Λܦͯɺݱࡏ͸ ;0;0ςΫϊϩδʔζͰ;0;0508/ͷΫϥ΢υ࡮৽ϓϩδΣΫτͷ ୲౰ΤϯδχΞɻ ଞɺۀ຿֎Ͱ/P0QT
   +BQBOίϛϡχςΟʔӡӦ 2 @yokawasa https://github.com/yokawasa
3. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD IUUQT[P[PKQ ˔ ೔ຊ࠷େڃͷϑΝογϣϯ௨ൢαΠτ ˔  Ҏ্ͷγϣοϓɺ Ҏ্ͷϒϥϯυͷऔΓѻ͍ʢͱ΋ ʹ೥݄຤࣌఺ʣ ˔ ৗ࣌ສ఺Ҏ্ͷ঎඼ΞΠςϜ਺ͱຖ೔ฏۉ ఺Ҏ্ͷ৽ண ঎඼Λܝࡌ ˔ ଈ೔഑ૹαʔϏε ˔ ΪϑτϥοϐϯάαʔϏε ˔ πέ෷͍ ͳͲ 4
4. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD IUUQTXFBSKQ 6 ˔ ೔ຊ࠷େڃͷϑΝογϣϯίʔσΟωʔτΞϓϦ ˔  ສμ΢ϯϩʔυಥഁɺίʔσΟωʔτ౤ߘ૯਺͸ສ݅ Ҏ্ʢͱ΋ʹ೥݄຤࣌఺ʣ ˔ શੈքʢ"QQ
   4UPSF
   
   (PPHMF
   1MBZ͕ར༻ՄೳͳશͯͷࠃʣͰμ ΢ϯϩʔυ͕Մೳ ˔ ສਓҎ্ͷϑΥϩϫʔΛ࣋ͭϢʔβʔʢ8&"3*45"ʣ΋஀ੜ
5. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD IUUQT[P[PKQNVMUJTJ[F ˔ ਎௕ͱମॏΛબ୒͢Δ͚ͩͰཧ૝ͷαΠζͷ঎඼͕ݟ͔ͭΔ৽͠ ͍༸෰ͷങ͍ํ ˔ ;0;046*5Ͱಘͨສ݅Ҏ্ͷମܕσʔλΛ׆༻͠ɺʙ αΠζͷϚϧναΠζʢଟαΠζʣʹల։ ˔ ೥ळౙΞΠςϜ͔ΒɺਓؾϒϥϯυͷϚϧναΠζΞΠς ϜΛൢച։࢝ ʲࢀՃاۀʳ גࣜձࣾΞʔόϯϦαʔνɺגࣜձࣾετϥΠϓΠϯλʔφγϣφϧɺ גࣜձࣾσΠτφɾΠϯλʔφγϣφϧɺגࣜձࣾύϧɺגࣜձࣾϏʔϜεɺ גࣜձࣾϕΠΫϧʔζɺ."3,
   45:-&3גࣜձࣾɺϦʔόΠɾετϥ΢ε δϟύϯגࣜձࣾ ͳͲ 7
6. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD ηογϣϯ֓ཁ զʑZOZOςΫϊϩδʔζ͸೔ຊ࠷େڃͷϑΝογϣϯ௨ൢαΠτ 「ZOZOTOWN」ͷج൫ΛΦϯϓϨϕʔε͔ΒΫϥ΢υʢAzure, AWSͳͲʣ Λ׆༻ͨ͠ཧ૝ͷγεςϜʹ࡮৽͍ͯ͘͠ϓϩδΣΫτΛਪਐ͍ͯ͠·͢ɻ ຊηογϣϯͰ͸ͦͷதͰ΋ZOZOTOWNͷόοΫΤϯυࢀরܥAPIγες ϜͰͷܦݧʹϑΥʔΧεΛ౰ͯɺ͜Ε·ͰͷܦݧɺϓϩδΣΫτ௨ֶͯ͡Μ ͩ஌ݟ͍࣮ͭͯࡍͷΤϐιʔυΛަ͓͑ͯ࿩͠·͢ɻΫϥ΢υ࡮৽ɺҠߦΛ ߟ͍͑ͯΔํʑʹͱͬͯώϯτΛಘΔ͖͔͚ͬ΍ɺҰา֎ʹ౿Έग़͖͔ͬ͢ ͚ʹͳΕΕ͹޾͍Ͱ͢ɻ 8
7. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD 9 ;0;0508/Ϋϥ΢υδϟʔχʔ ʙ͜Ε·ͰͷಓͷΓʙ
8. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD 10 DevOps is the practice of developers being responsible for operating their services in production, 24/7. This includes development using shared infrastructure primitives, testing, on-call, reliability engineering, disaster recovery, defining SLOs, monitoring setup and alarming, debugging and performance analysis, incident root cause analysis, provisioning and deployment, etc. The human scalability of “DevOps” https://medium.com/@mattklein123/the-human-scalability-of-devops-e36c37d3db6a ϦϓϨʔενʔϜͷ׆ಈͱΑ͘ࣅ͍ͯΔ &OWPZ։ൃऀʹΑΔ%FW0QTఆٛ
9. ˜
   ;0;0
   5FDIOPMPHJFT
   *OD 11 DevOps is the practice of developers being responsible for operating their services in production, 24/7. This includes development using shared infrastructure primitives, testing, on-call, reliability engineering, disaster recovery, defining SLOs, monitoring setup and alarming, debugging and performance analysis, incident root cause analysis, provisioning and deployment, etc. The human scalability of “DevOps” https://medium.com/@mattklein123/the-human-scalability-of-devops-e36c37d3db6a ϦϓϨʔενʔϜͷ׆ಈͱΑ͘ࣅ͍ͯΔ &OWPZ։ൃऀʹΑΔ%FW0QTఆٛ YͰຊ൪αʔϏεӡ༻ʹ੹೚Λ࣋ͭͱ͍͏։ൃऀʹΑΔ׆ಈ ͜ͷ׆ಈʹ͸ɺ։ൃɺςετɺPODBMMɺ৴པੑͷͨΊͷΤϯδχΞϦϯά׆ಈɺ ࡂ֐෮چɺ4-0ͷఆٛɺ؂ࢹઃఆͱɺσόοάͱύϑΥʔϚϯε෼ੳɺ໰୊ͷࠜຊݪ Ҽ෼ੳɺιϑτ΢ΣΞͷॳظઃఆͱల։ͳͲؚ͕·Ε·͢ɻ
10. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ;0;0508/ϦϓϨʔεͷഎܠ Ϗδωε֦େʹ൐͏ར༻ऀˍෛՙ૿ɺৼΕ෯ͷେ͖͍قઅมಈɺ ૿͑ଓ͚Δ৽ػೳཁ݅ͱࢢ৔౤ೖ଎౓୹ॖԽͷཁٻ͕͋ΔதͰ ϦϓϨʔεલͷγεςϜʢΦϯϓϨͰϞϊϦεʣ͸͞·͟·ͳ ໰୊Λ๊͍͑ͯͨ • ͕͔͔࣌ؒΔϦιʔεௐୡ • Πϯϑϥߏஙɾӡ༻ͷखؒͷ૿େ • γεςϜෛՙͱσʔλ૿ʹ൐͏ύϑΥʔϚϯεྼԽ 12
11. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ;0;0508/ϦϓϨʔεͷഎܠ 13 ͜ͷҐஔʹ߹Θͤͯ ७૿෼ͷαʔόΛ ຖ೥ങ͍଍͞ͳ͚Ε ͹ͳΒͳ͍
12. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ϦϓϨʔεલͷࢀরܥ"1*ΞʔΩςΫνϟ 14 on-premises SQL Server on-premises IIS Server SQL .asp ετΞυݺͼग़͠ Data Center ௒ີ݁߹
13. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ϦϓϨʔεઓུ αϒγεςϜ͝ͱʹஈ֊తʹ࣮ࢪ • αϒγεςϜ͝ͱʹஈ֊తʢ/
    ˠʣʹΫϥ΢υϕʔεʹ࡮৽ /P0QT
    
    -FTT0QT • ߏஙɾӡ༻ίετΛলྗԽ͢ΔͨΊੵۃతʹ1BB4ɺ4BB4ͳͲͰ͖Δ͚ͩந৅Խɺ ࣗಈԽ͞ΕͨαʔϏεΛੵۃతʹ׆༻ Ϋϥ΢υதཱʢ$MPVE
    "HOPTUJDʣ • ϚϧνΫϥ΢υɺΫϩεΫϥ΢υͰߏ੒Ͱ͖ΔΑ͏ʹಛఆΫϥ΢υʹա౓ͳґଘΛ ͠ͳ͍πʔϧɾαʔϏεબఆͱઃܭ 15
14. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD Azure ࢀরܥ"1*ΞʔΩςΫνϟ 16 Azure SQL Database on-premises IIS Server SQL .asp Data Center AKS pods "1*ݺͼग़͠ "1*Խ ૄ݁߹ ϦϓϨʔεର৅
15. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ϚϧνΫϥ΢υ΁ͷ଩੾Γ ໨తɿ410'ʢ୯Ұো֐఺ʣͷճආ • ୯ҰΫϥ΢υͰϦʔδϣϯผΫϥελ෼ࢄҊ΋౰ॳ͋ͬͨ • Ϋϥ΢υͷେن໛ো֐ɺఆظɾෆఆظϝϯςϯφεʹؔ܎ ͳ҆͘ఆతʹαʔϏεΛܧଓ͔ͤͨͬͨ͞ 17 ZOZOTOWN オンプレ 参照系API 参照系API Azure
16. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD αʔϏεˍιϑτ΢ΣΞελοΫ 18 Container Orchestrator Datastore Workflow Web / App Automation / Configuration Observability CI/CD, Code Repository SQL Server Azure DB for PostgreSQL RDS for SQL RDS for PostgreSQL AKS Ansible Kustomize CircleCI GitHub ArgoCD
17. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD 20 ;0;0508/Ϋϥ΢υδϟʔχʔ ʙֶͼɺ࣮ફɺ৺ߏ͑ʙ
18. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD Ϋϥ΢υ͸ෆ҆ఆͰ͋Δʢͱ͍͏લఏͰߟ͑Δʣ Ϋϥ΢υ͸Ӭԕͷϕʔλ൛ɻΦϯϓϨʹൺ΂ෆ҆ఆͰ͋Δ͜ͱ લఏͰݕ౼ΛਐΊΔඞཁ͕͋Δ ཁҼͦͷᶃɿܧଓతϝϯςφϯε Ϋϥ΢υಛ༗ͷϝϯςφϯεͱͷ෇͖߹͍͕ඞཁͱͳΔɻ࠶ىಈͳͲͰαʔ ϏεஅΛཁ͢Δ΋ͷ΋͋ΔͷͰɺ౰વͳ͕Βର৅Ϧιʔε͸ෆ҆ఆʹͳΔ • ࣄલ௨஌͋Γͷܭըతϝϯςφϯε • ࣄલ௨஌ͳ͠ͷۓٸϝϯςφϯε ཁҼͦͷᶄɿڞ༗Ϧιʔε Ϧιʔε͕׬શઐ༗ܕͰ͸ͳ͘ɺڞ༗ܕɾ૬৐ΓܕͰ͋Δ৔߹͸ ͏Δ͍͞ྡਓ໰୊ʢ/PJTZ
    /FJHICPSTʣ͕͋Δ 21
19. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD Ϋϥ΢υ͸੹೚ڞ༗Ϟσϧ Ϋϥ΢υϕϯμʔͱར༻ऀͷ؅ཧݖݶʹԠͨ͡੹೚෼୲ͷߟ͑ํ 22 • ($1ྫɿʮΞϓϦϨϕϧͰͷσʔλ੍ޚʯ ͸ར༻ऀͷ੹೚ • "[VSFྫɿαʔϏεϞσϧผϕϯμʔͱར༻ ऀͷ੹೚෼୲ʢӈਤʣ 総務省 ICTスキル総合習得教材 2-3: クラウドの特性とセキュリティ https://www.soumu.go.jp/ict_skill/pdf/ict_skill_2_3.pdf ଟ͔Εগͳ͔Ε؅ཧ੹೚͸ར༻ऀͰ͋Δࣗ෼ ͨͪʹ͋Δ͜ͱΛೝࣝ͠ɺΦʔφʔγοϓΛ ࣋ͬͯରࡦΛߦ͏͜ͱ
20. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ݎ࿚ੑΑΓճ෮ੑ  %FTJHO
    GPS
    3FTJMJFODZ ճ෮ੑ ʹ ো֐͔Βճ෮ͯ͠ಈ࡞Λଓߦ͢ΔγεςϜͷೳྗ ো֐ճආ͕໨తͰ͸ͳ͘ɺμ΢ϯλΠϜ΍σʔλଛࣦΛճආ͠ αʔϏεͷఏڙΛҡ࣋Ͱ͖ΔγεςϜ લఏɿΫϥ΢υ͸յΕΔ ʴ ܧଓతΞοϓσʔτ 23
21. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ݎ࿚ੑΑΓճ෮ੑ  %FTJHO
    GPS
    3FTJMJFODZ ճ෮ੑͷ͋ΔϓϥοτϑΥʔϜબ୒ ϚωʔδυαʔϏεɺ1BB4ɺ$BB4ɺ4FSWFSMFTT ճ෮ੑͷ͋ΔΞϓϦέʔγϣϯઃܭ 24 アプリケーション回復性パターン https://docs.microsoft.com/ja-jp/dotnet/architecture/cloud-native/application-resiliency-patterns
22. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ࢀরܥ"1*ͷओͳճ෮ੑػೳ ϚϧνΤϯυϙΠϯτɾΫϥελͷෛՙ෼ࢄ • -
    -#ͱLT
    3FBEJOFTT-JWFOFTT
    1SPCF • ױ෦Λ੾Γ཭ͤΔߏ੒ʢӡ༻ऀʹͱͬͯ`੾Γ཭ͤΔ`ͱ͍͏৺ཧత҆৺ײ͸ઈେʣ ΞϓϦͷΦʔτώʔϦϯά • ,VCFSOFUFTΦʔτώʔϦϯάػೳ "1*ϦΫΤετͷϦτϥΠ • ϚϧνΫϥ΢υؒͰͷϦΫΤετͷϦτϥΠʴྲྀྔׂ߹੍ޚ "1*ϦΫΤετͷαʔΩοτϒϨʔΧʔ • ແݶϦτϥΠ๷ࢭ 25
23. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD Ϋϥ΢υϦιʔε͸༗ݶ Ϋϥ΢υϦιʔε͸෺ཧࢿݯ͕ιϑτ΢ΣΞͰԾ૝Խɾந৅Խ ͞Εͨ΋ͷɻ༧Ίେྔʹ༻ҙ͞Ε͍ͯΔͱ͸͍͑༗ݶͰ͋Δ • ͍ͭͰ΋ظ଴௨ΓʹϦιʔε֬อ͕Ͱ͖Δͱ͸ݶΒͳ͍ɻ7.࡞੒͕ࣦഊ͠ ͨΓɺεέʔϧมߋʹࣦഊ͢Δ͜ͱ΋͋Δ • Ϋϥ΢υϕϯμʔͷधཁ༧ଌΛ্ճΔਓؾͷ঎඼΍ɺಛఆͷ঎඼Λେྔങ ͍͢Δ৔߹͸஫ҙ͕ඞཁ ΩϟύγςΟϓϥϯχϯάͱΫϥ΢υϕϯμʔ૬ஊ • લ΋ͬͯେྔϦιʔε֬อ͕ඞཁͱͳΔ͜ͱ͕Θ͔͍ͬͯΔ৔߹ɺͰ͖Δ ͚ͩૣ͘Ϋϥ΢υϕϯμʔʹΩϟύγςΟ֬อΛ૬ஊ͢΂͖ 26
24. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD 27 このタイミングでDB スケールアップを実施。 ただしキャパシティ確保で きず失敗に終わる ピークアクセス によりCPU100% に張り付く DB CPU% %#αΠζมߋࣦഊྫ !ͱ͋ΔηʔϧΠϕϯτ CPU100%ライン
25. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ෆ֬ఆཁૉʢ$IBPTʣ ;0;0508/ओཁηʔϧΠϕϯτʹࡍͯ͠ɺࣄલʹे෼ͳ४උ Λߦͬͨʹ΋͔͔ΘΒͣ૝ఆ௨Γͷ݁Ռ͕ಘΒΕͳ͔ͬͨ • ૝ఆΛ௒͑ΔαʔϏεΞΫηε਺ɺύλʔϯ • ૝ఆ֎ͷϘτϧωοΫ • ૝ఆ֎ͷಈ͖Λͯ͘͠Εͳ͍Ϋϥ΢υαʔϏε ৗʹෆ֬ఆཁૉʢ$IBPTʣ͕͋Δ͜ͱΛҙࣝ͠ɺ͍ͣΕͷ໰୊͕ൃੜ ͯ͠΋αʔϏεΛܧଓͰ͖ΔΑ͏ʹඋ͑Δඞཁ͕͋Δ 28
26. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ΧΦεΤϯδχΞϦϯάͷݪଇ 29 http://principlesofchaos.org/?lang=JAcontent ΧΦεΤϯδχΞϦϯάͱ͸෼ࢄγεςϜʹ͓͍ͯγεςϜ͕ෆ҆ఆ ͳঢ়ଶʹ଱͑Δ͜ͱͷग़དྷΔ؀ڥΛߏங͢ΔͨΊͷݕূͷن཯Ͱ͢ • ఆৗঢ়ଶʹ͓͚ΔৼΔ෣͍ͷԾઆΛཱͯΔ • ࣮ੈքͷࣄ৅͸ଟ༷Ͱ͋Δ • ຊ൪؀ڥͰݕূΛ࣮ߦ͢Δ • ܧଓతʹ࣮ߦ͢ΔݕূͷࣗಈԽ • ӨڹൣғΛہॴԽ͢Δ
27. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ڥքઢʹજΜͰ͍ͨѱຐ ෛՙࢼݧͰ͸ݟ͑ͯ͜ͳ͍ຊ൪ΞΫηεͰҾ͖ى͜͞Εͨ૝ఆ֎ͷ໰୊ 30 SQL Database Azure Cache For Redis 参照系APIアプリ 参 照 ク エ リ クエリ結果 キャッシュ ΞϓϦͱ%#3FEJTͷ઀ଓ • %#ෛՙܰݮͷͨΊʹΫΤϦ݁ՌΛ3FEJT
    $BDIF αʔϏεʹΩϟογϡ͢Δߏ੒ ൃੜͨ͠ࣄ৅ • ௨ৗͱൺ΂ΞΫηε਺͕૿େ͢Δ;0;0508/ ओཁηʔϧΠϕϯτ࣌ʹ3FEJT
    $BDIFαʔϏε ͷ$16͕ͰுΓ෇͘ • ͜ͷͱ͖3FEJT΁ͷϦΫΤετظ଴௨Γʹ 5JNFPVUͰ໭Βͣɺ݁ՌϢʔβʔϦΫΤετͷ 5JNFPVU͕සൃ • 3FEJT
    $16͕͕༠ൃͨ͠૝ఆ֎ͷࣄ৅
28. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD Ϋϥ΢υ͸ܾͯ҆͘͠ͳ͍ • ίετ࡟ݮΛ໨తͱ͠ͳ͍͜ͱ • ΦϯϓϨͷݮՁঈ٫Ϟσϧʹൺ΂Ϋϥ΢υͷैྔ՝ۚϞσϧ͸௕ظ తʹݟׂͯߴʹͳΔ͜ͱ͕ଟ͍ • Կʹର͓ͯۚ͠Λ෷͏ͷ͔ΛࠓҰ౓ߟ͑Α͏ 31 Մ༻ੑ ࢢ৔౤ೖ଎౓ ηΩϡϦςΟ ֵ৽ Πϊϕʔγϣϯ ࣗಈԽ *B$ͱͷ૬ੑ IaC = Infrastructure as Code
29. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ίετ࡟ݮରࡦྫ r %#ίΞͷεέʔϧมߋ Ұ೔ͷ%#ͷ$16ෛՙঢ়گͷنଇੑΛར༻ͨ͠%#ίΞ਺มߋͷࣗ ಈεέδϡʔϦϯάΛ࣮ࢪɻෛՙ͕௿͍࣌ؒଳͷίΞ਺Λௐ੔͠ ͯίετ࡟ݮ͢ΔΞϓϩʔν 32 ある平日のDB(SQL)のCPU負荷推移グラフ 深夜帯 ෛՙ͕௿͍࣌ؒଳʹ%#Ϋϥελͷߏ੒ϊʔυ਺ͱ શମͷίΞ਺ΛԼ͛ΔεέδϡʔϥʔΛ։ൃɻ ͜ΕʹΑΓෛՙ͕௿͍ਂ໷ଳͷίετ࡟ݮʹ੒ޭ ͳ͓ɺݱࡏ͸࣮ࡍͷෛՙʹԠͨ͡ಈతεέʔϥʔ Λ։ൃத
30. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ֶशͷجຊ࢟੎ʹ͍ͭͯ Ϋϥ΢υʹ͓͍ͯϢʔβʔ͸ࣗݾֶश͕جຊ • Ϋϥ΢υɺΫϥ΢υωΠςΟϒ͸ਐԽͷεϐʔυ͕଎͘ɺͦΕΒٕज़Λ࢖ ͍͜ͳ͍ͯ͘͠ʹ͸ண࣮ʹΩϟονΞοϓ͢Δ࢟੎ͱػಈྗ͕ඞཁ • 4*FS΍ϕϯμʔαϙʔτ΁ͷؙ౤͛ํࣜͰ͸εϐʔυײΛอͭ͜ͱ͸೉͠ ͘ͳΔɻϝϯλʔͱϝϯςΟʔͷؔ܎͕ͪΐ͏ͲΑ͍ɻ • άϩʔόϧͰͷࣗࣾΤϯδχΞʹΑΔ಺੡ܕ։ൃͷ੒ޭࣄྫ΋૿͍͑ͯΔ 33 ࠷ޙ͸ɺࣗ෼ͨͪͰಆ͏ʂͱ͍͏࢟੎
31. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ;0;0508/ϦϓϨʔεͷ͜Ε͔Βͷ׆ಈ • ར༻ܗଶʹదͨ͠࠷దͳσʔλετΞͷબ୒ • 42-
    4FSWFS΁ͷա౓ͳґଘ͔Βσʔλߏ଄͝ͱʹ࠷దͳσʔλετΞར༻ʹҠߦ • ଞͷΦϯϓϨαϒγεςϜͷΫϥ΢υԽ • ΦϯϓϨ8FCαʔόɺΧʔτγεςϜɺجװγεςϜɺFUDɾɾɾ 34
32. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD ·ͱΊ • Ϋϥ΢υ͸Ӭԕͷϕʔλ൛ɻΦϯϓϨͱൺ΂ෆ҆ఆ͔ͭෆ֬ఆ ཁૉ͸ଟ͍͕ɺ׆༻͢Δ͜ͱͰಘΒΕΔϝϦοτ͸ඇৗʹଟ͍ • Ϋϥ΢υΛཧղ͠ɺਖ਼͘͠޲͖߹͏͜ͱͰϓϥοτϑΥʔϜͷ ೳྗɾಛੑΛ࠷େݶʹڗड͢Δ͜ͱ͕Ͱ͖·͢ • ੋඇ͜ΕΛ͖͔͚ͬʹ͋ͨͳͷΫϥ΢υδϟʔχʔʹҰา౿Έ ग़ͯ͠Έ͍ͯͩ͘͞ 35
33. ˜
    ;0;0
    5FDIOPMPHJFT
    *OD 36 We’re hiring! https://tech.zozo.com/recruit/ ZOZOテクノロジーズでは、一緒にサービスを作り上げてくれる 方を募集しています。ご興あ味がある方は以下のリンクから 是非ご応募ください！