「信頼性」を保ちつつ大規模サービスをリニューアルする / cookpad-tech-kitchen-service-embedded-sres

28e154e6e0351c70091997d2f574295a?s=47 rrreeeyyy
August 21, 2020

「信頼性」を保ちつつ大規模サービスをリニューアルする / cookpad-tech-kitchen-service-embedded-sres

Cookpad Tech Kitchen #24 5800万人が使うサービスのリニューアルとその技術 ( https://cookpad.connpass.com/event/183385/ ) で、"「信頼性」を保ちつつ大規模サービスをリニューアルする" というタイトルで発表した際の資料です。

スライド内のリンクは次のとおりです。

- How SRE teams are organized, and how to get started: https://cloud.google.com/blog/products/devops-sre/how-sre-teams-are-organized-and-how-to-get-started
- Design Docs at Google: https://www.industrialempathy.com/posts/design-docs-at-google/
- artillery: https://artillery.io/
- serverless-artillery: https://github.com/Nordstrom/serverless-artillery

28e154e6e0351c70091997d2f574295a?s=128

rrreeeyyy

August 21, 2020
Tweet

Transcript

  1. չ⥋걾䚍պ׾⥂׍אא 㣐鋉垷؟٦ؽأ׾ٔصُ٦،ٕׅ׷ ؙحؙػحس吳䒭⠓爡䪮遭鿇43ؚٕ٦ف し䊛畆㣕 !SSSFFFZZZ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  2. !SSSFFFZZZ !SSSFFFZZZ IUUQTSSSFFFZZZDPN :PTIJLBXB3ZPUB .F ˖ 3ZPUB:PTIJLBXB !SSSFFFZZZ[reɪ] ˖ ؙحؙػحس吳䒭⠓爡

    ։ ˖ 䪮遭鿇43ؚٕ٦ف ˖ 莆㄂걄㚖 ˖ 0CTFSWBCJMJUZ 5JNFTFSJFTEBUBCBTF ˖ 馯㄂ ˖ QVZP BSLOJHIUT MFBHVFPGMFHFOET ˖ TFJZV SFTUBHF XVH $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  3. ➙傈ֶ鑧ׅ׷ֿה ˖ չ⥋걾䚍պ׾⥂׍אא㣐鋉垷؟٦ؽأ׾ٔصُ٦،ٕ׃׋鑧 ˖ 4FSWJDF&NCFEEFE43&Tה׃ג⿫⸇ ˖ 43&4FSWJDF&NCFEEFE43&T ˖ %FTJHO%PDVNFOU׾剅ְ׋鑧 ˖

    㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧 ˖ 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  4. 䟝㹀׃גְ׷耮罏 ˖ ،فٔ؛٦ءّٝꟚ涪׾䬐䔲ׅ׷➂ ˖ ⥋걾䚍׾䠐陎׃׋،فٔ؛٦ءّٝꟚ涪ךفؙٓذ؍أ׾濼׶׋ְ➂ ˖ 荈ⴓָ遤׏׋فؙٓذ؍أ׾➙㔐ֶ鑧׃תׅ ˖ 43&ך➂ ˖

    4FSWJDF&NCFEEFE43&Tך《׶穈׫חאְג濼׶׋ְ➂ ˖ 㹋ꥷך《׶穈׫הװ׏ג׫גוֲ׌׏׋ַ׾ֶ鑧׃תׅ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  5. 43&4FSWJDF&NCFEEFE43&T $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  6. 43&4FSWJDF&NCFEEFE43&T ˖ 43&؟٦ؽأך⥋걾䚍׾؝ٝزٗ٦ٕׅ׷׋׭ךؒٝآص،ؚٔٝ䩛岀 ˖ (PPHMFָתה׭׋43&ך㨣׭倯האךװ׶倯ךⴓ겲 ˖ )PX43&UFBNTBSFPSHBOJ[FE BOEIPXUPHFUTUBSUFE ˖ 4FSWJDF&NCFEEFEכ♳ד⢽ח䮙־׵׸גְ׷ךװ׶倯♧א

    ˖ 43&ָꟚ涪罏ث٦يךًٝغ٦ך♧➂ה׃ג➬✲׾ׅ׷ IUUQTDMPVEHPPHMFDPNCMPHQSPEVDUTEFWPQTTSFIPXTSFUFBNTBSFPSHBOJ[FEBOEIPXUPHFUTUBSUFE $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  7. 4FSWJDF&NCFEEFE43&T ˖ ♧㹀劍꟦꧊⚥׃ג43&׾䗳銲הׅ׷ث٦ي٥فٗآؙؑزחさ׏׋װ׶倯 ˖ FY ⥋걾䚍ָ⡚ֻז׏ג׃ת׏׋فٗتؙزծ➙㔐ך״ֲזٔصُ٦،ٕ ˖ 㹋ꥷך؟٦ؽأך鏣鎘٥㹋鄲ַ׵؎ٝؿٓך鏣鎘٥欽䠐זו׾♧筰ח《׶穈׬ ˖ 43&ךװ׶倯׾➭ךث٦يװ爡ⰻⰋ⡤ח䎢׭גְֻꥷח剣⸬זװ׶倯

    ˖ 㹋ꥷחװ׏ג׫ג43&ךفؙٓذ؍أ׾״׶䎢׭׵׸׋ה䠬ׄ׋ ˖ EFTJHOEPDVNFOU׾剅ַֻוֲַ וֲ剅ַֻ ˖ ⡦ח孡׾אֽג؝٦س׾剅ְגְ׷ַ رفٗ؎٥ٔٔ٦أ儗ח⡦ח孡׾אֽ׷ַ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  8. 㹋ꥷך《穈׫ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  9. %FTJHO%PDVNFOU׾剅ְ׋鑧 $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  10. %FTJHO%PDVNFOUהכ ˖ اؿزؐؑ،鏣鎘ך׋׭ךسًُؗٝزך♧א ˖ 㹋ꥷחاؿزؐؑ،׾⡲׶㨣׭׷⵸ח剅ֻֿהָ㢳ְ ˖ ⡦׾⡲׷ַ٥ז׈⡲׷ַ٥וך״ֲח⡲׷ַזו׾剅ֻ㹋⢽כ䖓鶢 ˖ %FTJHO%PDTBU(PPHMFָ鑫׃ְ ˖

    剅ֻה⡦ְְַָ٥זח׾剅ַֻ٥וֲ剅ַֻזוָתהת׏גְ׷ IUUQTXXXJOEVTUSJBMFNQBUIZDPNQPTUTEFTJHOEPDTBUHPPHMF $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  11. %FTJHO%PDVNFOU׾剅ְ׋鑧 ˖ فٗآؙؑز⿫⸇儗挿ד㹋植׃׋ְ堣腉ה6*رؠ؎ٝכׂ׏ֻ׶寸ת׏גְ׋ ˖ ת׆剑ⴱח%FTJHO%PDVNFOU׾剅ְ׋ ˖ 荈ⴓ荈魦ָسً؎ٝ濼陎׾׃׏ַ׶➰ֽ׷湡涸׮֮׏׋ ˖ 鹈꟦ּ׵ְ儗꟦׾ַֽג׃׏ַ׶剅ְ׋ Ⰻل٦آ

    ˖ 剅ְ׋׮ך׾葿ղז➂חٖؽُ٦׃ג׮׵ְ刿倜׃גְ׏׋ ˖ ⥋걾䚍חꟼ׻׷،٦ؗذؙثٍ鏣鎘װىسٕؐؑ،ך寸㹀זו׮ֿֿד陽锷דֹ׋ ˖ ًٝغ٦ず㡦ךⰟ鸐钠陎׮䕎䧭ׅ׷ֿהָדֹ׋ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  12. %FTJHO%PDVNFOUח⡦׾剅ַֻ ˖ 荈ⴓכׂ׏ֻ׶⟃♴ך״ֲזֿה׾剅ְ׋ ˖ ⡦׾ז׈⡲׹ֲה׃גְ׷ַ٥וך״ֲח⢪׻׸׷䟝㹀זךַ ˖ ءأذي،٦ؗذؙثٍ׾וֲׅ׷ַ٥ז׈׉ֲׅ׷ַ ˖ و؎ؙٗ؟٦ؽأחׅ׷ַ#''׾⢪ֲַ钠鏾钠〳׾וֲׅ׷ַ嗚稊׾וֲׅ׷ַ ˖

    ر٦ةأز،׾⡦חׅ׷ַ٥⡦ח׃זְַ ˖ 㹋植׃׋ְ堣腉ח㼎ׅ׷1SPT$POT׾さ׻ׇג嫰鯰 ˖ 〢ְءأذيהךⰟ㶷׾וך״ֲח㹋植ׅ׷ַ ˖ 㣐✲זךכז׈׉ֲׅ׷ַ٥ז׈׉ֲ׃זְַָ俑畍ח婍׷ֿה $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  13. $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  14. $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  15. $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  16. $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  17. 㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧 $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  18. 㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧 ˖ 㛇劤涸חכEFTJHOEPDVNFOUח剅ְ׋鸐׶ך鏣鎘׾㹋植׃גְֻ ˖ ⥋걾䚍חꟼ׻׶׉ֲז皘䨽כ湱锑ח⛦׏׋׶ٖؽُ٦׾׃׋׶ׅ׷ ˖ "VUPTDBMFװ.POJUPSJOHװ'BVMUUPMFSBODFָ黝ⴖח鏣㹀ׁ׸גְ׷ ˖ 384QMJUUJOHָ黝ⴖחדֹ׷״ֲחז׏גְ׷ ˖

    ꥺ㹱儗חⰋ⡤ח䕦갟׾⿹רׁ׆ח鿇ⴓ涸חرؚٖ٦ءّٝדֹ׷״ֲח׃גֶֻ ˖ ِ٦أ؛٦أחさ׏׋JOEFY׾%#ח顦׏גֶֻ ˖  ˖ ְֲֿ׏׋״ֻ֮׷չ孡׾אֽ׷ץֹֿהպכ1SPEVDUJPO3FBEJOFTT3FWJFXזוד佸ִ׷ה葺ׁ׉ֲ ˖ 㹋ꥷח؟٦ؽأꟚ涪ث٦يח⿫⸇ׅ׷ֿהד倜׃ֻ鋅אַ׷״ֲז׮ך׮֮׷ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  19. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 

  20. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 ˖ ו׸׌ֽEFTJHOEPDVNFOUד鏣鎘ח孡׾אֽגְג׮ ˖ ו׸׌ֽ㹋鄲儗װٖؽُ٦儗ח孡׾אֽגְג׮ ˖ 㹋ꥷח頾蚚׾䱦ֽג然钠ׅ׷ֿהָ㸜Ⰻחٔٔ٦أׅ׷׋׭חכ䓼ֻ䱿㤺 ˖ ➙㔐㹋鄲׃׋皘䨽⟃㢩ָنزٕطحؙחז׷ַ׮ ˖

    㸜Ⰻך׋׭鏣㹀׃׋"VUPTDBMJOHך♳ꣲ⦼ח䒷׏ַַ׷ַ׮ ˖ ✮劍׃זְىسٕؐؑ،װ鏣㹀ך♳ꣲ⦼ָ鋅אַ׷ַ׮ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  21. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 ˖ ׍׳ֲוBSUJMMFSZ׾⢪׏ג頾蚚鑐꿀׾ׅ׷㛇湍׾侭ִגְ׋ ˖ 㹋ꥷחכTFSWFSMFTTBSUJMMFSZ׾⢪׏ג-BNCEB♳ַ׵頾蚚鑐꿀׾ׅ׷㛇湍 ˖ 劤殢橆㞮ח㼎׃ג頾蚚鑐꿀׾㹋遤׃ג׮㉏겗זְ橆㞮׮דֹגְ׋ ˖ ٔصُ٦،ٕ䖓ךغحؙؒٝسכ倜׋זو؎ؙٗ؟٦ؽأה׃ג㹋鄲׃גְ׋ ˖

    ؟٦ؽأ꟦鸬䵿זו׮֮׶劤殢ה㸣Ⰻחず瘝ךך頾蚚鑐꿀橆㞮׾欽䠐ׅ׷ךכ㔭ꨇ׌׏׋ ˖ 劤殢橆㞮כJ04،فٔךٔٔ٦أ⵸ח彊⪒ָ㸣✪׃גְ׋ ˖ J04،فٔךٔٔ٦أָ遤׻׸׷⵸ח欽䠐׃׋劤殢橆㞮ח㼎׃ג頾蚚鑐꿀׾遤׏׋ IUUQTHJUIVCDPN/PSETUSPNTFSWFSMFTTBSUJMMFSZ IUUQTBSUJMMFSZJP $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  22. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 ˖ 頾蚚鑐꿀橆㞮׾欽䠐׃גⴽ鷿頾蚚鑐꿀׾׃ג׮葺ַ׏׋ָ ˖ ؟٦ؽأ꟦鸬䵿זו׮֮׶⿑㺘חכずׄ橆㞮׾欽䠐דֹזְ㉏겗ָ֮׏׋ ˖ 劤殢橆㞮ד頾蚚鑐꿀׾遤ֲֿהד׃ַ孡➰ֽזְ㉏겗׮֮׷ ˖ BSUJMMFSZחכrampToהְֲ䖚ղח頾蚚׾㟓װ׃גְֻ鏣㹀ָ֮׷ ˖

    㨣׭כהג׮⡚ְ⦼ח鏣㹀׃ג儗꟦ּ׵ְ䱦ֽג湡垥⦼ח鵚בֻ״ֲח頾蚚鑐꿀׾㹋倵 ˖ 頾蚚鑐꿀⚥כぐ؟٦ؽأךًزؙٔأ׾䌢ח岣鋔׃גֶֹ㉏겗ָ饯ֹ׋׵⽯⨡姺ׅ׷ ˖ 劤殢דך䕦갟׾剑㼭ꣲח䫇ִזָ׵㹋ꥷךءأذيח㼎׃ג頾蚚鑐꿀׾遤ִ׷ ˖ 㹋ꥷח鸬䵿⯓ך؟٦ؽأדٍؗػءذ؍ָ駈׶זְהְֲ㉏겗׾涪鋅דֹ׋ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ 
  23. 4FSWJDF&NCFEEFE43&T׾װ׏ג׫גך䠬䟝 ˖ ➙傈鑧׃׋״ֲז崞⹛ד֮ת׶㣐ֹזꥺ㹱׾饯ֿׁ׆ٔصُ٦،ָٕדֹ׋ ˖ ⽃חչ43&ث٦يպה׃ג橆㞮׾侭⪒ׅ׷ךהכ㼰׃麩׏׋穗꿀ָדֹ׋ ˖ 㹋ꥷח؟٦ؽأךꟚ涪׾ׅ׷ה鋅ִ׷兝葿ָⰋ搫㢌׻׏גֻ׷鷞׮搫׶ ˖ 43&ךفؙٓذ؍أ׾؟٦ؽأث٦يח⠗ִ׋ְהֹחכ葺ְ䩛岀 ˖

    㹋ꥷח%FTJHOEPDVNFOU׾剅ְ׋׶頾蚚鑐꿀׾ׅ׷ث٦يָ㟓ִ׋ ˖ ➙ךفٓحزؿؓ٦يחꟚ涪罏湡简ד⡦ָ駈׶זְךַ׮㼰׃鋅ִ׋ $PPLQBE5FDI,JUDIFO  ]3ZPUB:PTIJLBXB !SSSFFFZZZ