「信頼性」を保ちつつ大規模サービスをリニューアルする / cookpad-tech-kitchen-service-embedded-sres

Cookpad Tech Kitchen #24 5800万人が使うサービスのリニューアルとその技術 ( https://cookpad.connpass.com/event/183385/ ) で、"「信頼性」を保ちつつ大規模サービスをリニューアルする" というタイトルで発表した際の資料です。

スライド内のリンクは次のとおりです。

- How SRE teams are organized, and how to get started: https://cloud.google.com/blog/products/devops-sre/how-sre-teams-are-organized-and-how-to-get-started
- Design Docs at Google: https://www.industrialempathy.com/posts/design-docs-at-google/
- artillery: https://artillery.io/
- serverless-artillery: https://github.com/Nordstrom/serverless-artillery

Transcript

1. չ⥋걾䚍պ׾⥂׍אא
   㣐鋉垷؟٦ؽأ׾ٔصُ٦،ٕׅ׷
   ؙحؙػحس吳䒭⠓爡䪮遭鿇43ؚٕ٦ف
   し䊛畆㣕 !SSSFFFZZZ
   
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

2. !SSSFFFZZZ
   !SSSFFFZZZ
   IUUQTSSSFFFZZZDPN
   :PTIJLBXB3ZPUB
   .F
   ˖ 3ZPUB:PTIJLBXB !SSSFFFZZZ[reɪ]
   
   ˖ ؙحؙػحس吳䒭⠓爡 ։
   
   ˖ 䪮遭鿇43ؚٕ٦ف
   ˖ 莆㄂걄㚖
   ˖ 0CTFSWBCJMJUZ 5JNFTFSJFTEBUBCBTF
   ˖ 馯㄂
   ˖ QVZP BSLOJHIUT MFBHVFPGMFHFOET
   ˖ TFJZV SFTUBHF XVH
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

3. ➙傈ֶ鑧ׅ׷ֿה
   ˖ չ⥋걾䚍պ׾⥂׍אא㣐鋉垷؟٦ؽأ׾ٔصُ٦،ٕ׃׋鑧
   ˖ 4FSWJDF&NCFEEFE43&Tה׃ג⿫⸇
   ˖ 43&4FSWJDF&NCFEEFE43&T
   ˖ %FTJHO%PDVNFOU׾剅ְ׋鑧
   ˖ 㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧
   ˖ 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

4. 䟝㹀׃גְ׷耮罏
   ˖ ،فٔ؛٦ءّٝꟚ涪׾䬐䔲ׅ׷➂
   ˖ ⥋걾䚍׾䠐陎׃׋،فٔ؛٦ءّٝꟚ涪ךفؙٓذ؍أ׾濼׶׋ְ➂
   ˖ 荈ⴓָ遤׏׋فؙٓذ؍أ׾➙㔐ֶ鑧׃תׅ
   ˖ 43&ך➂
   ˖ 4FSWJDF&NCFEEFE43&Tך《׶穈׫חאְג濼׶׋ְ➂
   ˖ 㹋ꥷך《׶穈׫הװ׏ג׫גוֲ׌׏׋ַ׾ֶ鑧׃תׅ
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

5. 43&4FSWJDF&NCFEEFE43&T
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

6. 43&4FSWJDF&NCFEEFE43&T
   ˖ 43&؟٦ؽأך⥋걾䚍׾؝ٝزٗ٦ٕׅ׷׋׭ךؒٝآص،ؚٔٝ䩛岀
   ˖ (PPHMFָתה׭׋43&ך㨣׭倯האךװ׶倯ךⴓ겲
   ˖ )PX43&UFBNTBSFPSHBOJ[FE BOEIPXUPHFUTUBSUFE
   ˖ 4FSWJDF&NCFEEFEכ♳ד⢽ח䮙־׵׸גְ׷ךװ׶倯♧א
   ˖ 43&ָꟚ涪罏ث٦يךًٝغ٦ך♧➂ה׃ג➬✲׾ׅ׷
   IUUQTDMPVEHPPHMFDPNCMPHQSPEVDUTEFWPQTTSFIPXTSFUFBNTBSFPSHBOJ[FEBOEIPXUPHFUTUBSUFE
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

7. 4FSWJDF&NCFEEFE43&T
   ˖ ♧㹀劍꟦꧊⚥׃ג43&׾䗳銲הׅ׷ث٦ي٥فٗآؙؑزחさ׏׋װ׶倯
   ˖ FY
   ⥋걾䚍ָ⡚ֻז׏ג׃ת׏׋فٗتؙزծ➙㔐ך״ֲזٔصُ٦،ٕ
   ˖ 㹋ꥷך؟٦ؽأך鏣鎘٥㹋鄲ַ׵؎ٝؿٓך鏣鎘٥欽䠐זו׾♧筰ח《׶穈׬
   ˖ 43&ךװ׶倯׾➭ךث٦يװ爡ⰻⰋ⡤ח䎢׭גְֻꥷח剣⸬זװ׶倯
   ˖ 㹋ꥷחװ׏ג׫ג43&ךفؙٓذ؍أ׾״׶䎢׭׵׸׋ה䠬ׄ׋
   ˖ EFTJHOEPDVNFOU׾剅ַֻוֲַ וֲ剅ַֻ
   ˖ ⡦ח孡׾אֽג؝٦س׾剅ְגְ׷ַ رفٗ؎٥ٔٔ٦أ儗ח⡦ח孡׾אֽ׷ַ
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

8. 㹋ꥷך《穈׫
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

9. %FTJHO%PDVNFOU׾剅ְ׋鑧
   $PPLQBE5FDI,JUDIFO
   ]3ZPUB:PTIJLBXB !SSSFFFZZZ
   
   

   View Slide

10. %FTJHO%PDVNFOUהכ
    ˖ اؿزؐؑ،鏣鎘ך׋׭ךسًُؗٝزך♧א
    ˖ 㹋ꥷחاؿزؐؑ،׾⡲׶㨣׭׷⵸ח剅ֻֿהָ㢳ְ
    ˖ ⡦׾⡲׷ַ٥ז׈⡲׷ַ٥וך״ֲח⡲׷ַזו׾剅ֻ㹋⢽כ䖓鶢
    ˖ %FTJHO%PDTBU(PPHMFָ鑫׃ְ
    ˖ 剅ֻה⡦ְְַָ٥זח׾剅ַֻ٥וֲ剅ַֻזוָתהת׏גְ׷
    IUUQTXXXJOEVTUSJBMFNQBUIZDPNQPTUTEFTJHOEPDTBUHPPHMF
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

11. %FTJHO%PDVNFOU׾剅ְ׋鑧
    ˖ فٗآؙؑز⿫⸇儗挿ד㹋植׃׋ְ堣腉ה6*رؠ؎ٝכׂ׏ֻ׶寸ת׏גְ׋
    ˖ ת׆剑ⴱח%FTJHO%PDVNFOU׾剅ְ׋
    ˖ 荈ⴓ荈魦ָسً؎ٝ濼陎׾׃׏ַ׶➰ֽ׷湡涸׮֮׏׋
    ˖ 鹈꟦ּ׵ְ儗꟦׾ַֽג׃׏ַ׶剅ְ׋ Ⰻل٦آ
    
    ˖ 剅ְ׋׮ך׾葿ղז➂חٖؽُ٦׃ג׮׵ְ刿倜׃גְ׏׋
    ˖ ⥋걾䚍חꟼ׻׷،٦ؗذؙثٍ鏣鎘װىسٕؐؑ،ך寸㹀זו׮ֿֿד陽锷דֹ׋
    ˖ ًٝغ٦ず㡦ךⰟ鸐钠陎׮䕎䧭ׅ׷ֿהָדֹ׋
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

12. %FTJHO%PDVNFOUח⡦׾剅ַֻ
    ˖ 荈ⴓכׂ׏ֻ׶⟃♴ך״ֲזֿה׾剅ְ׋
    ˖ ⡦׾ז׈⡲׹ֲה׃גְ׷ַ٥וך״ֲח⢪׻׸׷䟝㹀זךַ
    ˖ ءأذي،٦ؗذؙثٍ׾וֲׅ׷ַ٥ז׈׉ֲׅ׷ַ
    ˖ و؎ؙٗ؟٦ؽأחׅ׷ַ#''׾⢪ֲַ钠鏾钠〳׾וֲׅ׷ַ嗚稊׾וֲׅ׷ַ
    ˖ ر٦ةأز،׾⡦חׅ׷ַ٥⡦ח׃זְַ
    ˖ 㹋植׃׋ְ堣腉ח㼎ׅ׷1SPT$POT׾さ׻ׇג嫰鯰
    ˖ 〢ְءأذيהךⰟ㶷׾וך״ֲח㹋植ׅ׷ַ
    ˖ 㣐✲זךכז׈׉ֲׅ׷ַ٥ז׈׉ֲ׃זְַָ俑畍ח婍׷ֿה
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

13. $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

14. $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

15. $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

16. $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

17. 㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

18. 㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧
    ˖ 㛇劤涸חכEFTJHOEPDVNFOUח剅ְ׋鸐׶ך鏣鎘׾㹋植׃גְֻ
    ˖ ⥋걾䚍חꟼ׻׶׉ֲז皘䨽כ湱锑ח⛦׏׋׶ٖؽُ٦׾׃׋׶ׅ׷
    ˖ "VUPTDBMFװ.POJUPSJOHװ'BVMUUPMFSBODFָ黝ⴖח鏣㹀ׁ׸גְ׷
    ˖ 384QMJUUJOHָ黝ⴖחדֹ׷״ֲחז׏גְ׷
    ˖ ꥺ㹱儗חⰋ⡤ח䕦갟׾⿹רׁ׆ח鿇ⴓ涸חرؚٖ٦ءّٝדֹ׷״ֲח׃גֶֻ
    ˖ ِ٦أ؛٦أחさ׏׋JOEFY׾%#ח顦׏גֶֻ
    ˖
    ˖ ְֲֿ׏׋״ֻ֮׷չ孡׾אֽ׷ץֹֿהպכ1SPEVDUJPO3FBEJOFTT3FWJFXזוד佸ִ׷ה葺ׁ׉ֲ
    ˖ 㹋ꥷח؟٦ؽأꟚ涪ث٦يח⿫⸇ׅ׷ֿהד倜׃ֻ鋅אַ׷״ֲז׮ך׮֮׷
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

19. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

20. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧
    ˖ ו׸׌ֽEFTJHOEPDVNFOUד鏣鎘ח孡׾אֽגְג׮
    ˖ ו׸׌ֽ㹋鄲儗װٖؽُ٦儗ח孡׾אֽגְג׮
    ˖ 㹋ꥷח頾蚚׾䱦ֽג然钠ׅ׷ֿהָ㸜Ⰻחٔٔ٦أׅ׷׋׭חכ䓼ֻ䱿㤺
    ˖ ➙㔐㹋鄲׃׋皘䨽⟃㢩ָنزٕطحؙחז׷ַ׮
    ˖ 㸜Ⰻך׋׭鏣㹀׃׋"VUPTDBMJOHך♳ꣲ⦼ח䒷׏ַַ׷ַ׮
    ˖ ✮劍׃זְىسٕؐؑ،װ鏣㹀ך♳ꣲ⦼ָ鋅אַ׷ַ׮
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

21. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧
    ˖ ׍׳ֲוBSUJMMFSZ׾⢪׏ג頾蚚鑐꿀׾ׅ׷㛇湍׾侭ִגְ׋
    ˖ 㹋ꥷחכTFSWFSMFTTBSUJMMFSZ׾⢪׏ג-BNCEB♳ַ׵頾蚚鑐꿀׾ׅ׷㛇湍
    ˖ 劤殢橆㞮ח㼎׃ג頾蚚鑐꿀׾㹋遤׃ג׮㉏겗זְ橆㞮׮דֹגְ׋
    ˖ ٔصُ٦،ٕ䖓ךغحؙؒٝسכ倜׋זو؎ؙٗ؟٦ؽأה׃ג㹋鄲׃גְ׋
    ˖ ؟٦ؽأ꟦鸬䵿זו׮֮׶劤殢ה㸣Ⰻחず瘝ךך頾蚚鑐꿀橆㞮׾欽䠐ׅ׷ךכ㔭ꨇ׌׏׋
    ˖ 劤殢橆㞮כJ04،فٔךٔٔ٦أ⵸ח彊⪒ָ㸣✪׃גְ׋
    ˖ J04،فٔךٔٔ٦أָ遤׻׸׷⵸ח欽䠐׃׋劤殢橆㞮ח㼎׃ג頾蚚鑐꿀׾遤׏׋
    IUUQTHJUIVCDPN/PSETUSPNTFSWFSMFTTBSUJMMFSZ
    IUUQTBSUJMMFSZJP
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

22. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧
    ˖ 頾蚚鑐꿀橆㞮׾欽䠐׃גⴽ鷿頾蚚鑐꿀׾׃ג׮葺ַ׏׋ָ
    ˖ ؟٦ؽأ꟦鸬䵿זו׮֮׶⿑㺘חכずׄ橆㞮׾欽䠐דֹזְ㉏겗ָ֮׏׋
    ˖ 劤殢橆㞮ד頾蚚鑐꿀׾遤ֲֿהד׃ַ孡➰ֽזְ㉏겗׮֮׷
    ˖ BSUJMMFSZחכrampToהְֲ䖚ղח頾蚚׾㟓װ׃גְֻ鏣㹀ָ֮׷
    ˖ 㨣׭כהג׮⡚ְ⦼ח鏣㹀׃ג儗꟦ּ׵ְ䱦ֽג湡垥⦼ח鵚בֻ״ֲח頾蚚鑐꿀׾㹋倵
    ˖ 頾蚚鑐꿀⚥כぐ؟٦ؽأךًزؙٔأ׾䌢ח岣鋔׃גֶֹ㉏겗ָ饯ֹ׋׵⽯⨡姺ׅ׷
    ˖ 劤殢דך䕦갟׾剑㼭ꣲח䫇ִזָ׵㹋ꥷךءأذيח㼎׃ג頾蚚鑐꿀׾遤ִ׷
    ˖ 㹋ꥷח鸬䵿⯓ך؟٦ؽأדٍؗػءذ؍ָ駈׶זְהְֲ㉏겗׾涪鋅דֹ׋
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide

23. 4FSWJDF&NCFEEFE43&T׾װ׏ג׫גך䠬䟝
    ˖ ➙傈鑧׃׋״ֲז崞⹛ד֮ת׶㣐ֹזꥺ㹱׾饯ֿׁ׆ٔصُ٦،ָٕדֹ׋
    ˖ ⽃חչ43&ث٦يպה׃ג橆㞮׾侭⪒ׅ׷ךהכ㼰׃麩׏׋穗꿀ָדֹ׋
    ˖ 㹋ꥷח؟٦ؽأךꟚ涪׾ׅ׷ה鋅ִ׷兝葿ָⰋ搫㢌׻׏גֻ׷鷞׮搫׶
    ˖ 43&ךفؙٓذ؍أ׾؟٦ؽأث٦يח⠗ִ׋ְהֹחכ葺ְ䩛岀
    ˖ 㹋ꥷח%FTJHOEPDVNFOU׾剅ְ׋׶頾蚚鑐꿀׾ׅ׷ث٦يָ㟓ִ׋
    ˖ ➙ךفٓحزؿؓ٦يחꟚ涪罏湡简ד⡦ָ駈׶זְךַ׮㼰׃鋅ִ׋
    $PPLQBE5FDI,JUDIFO
    ]3ZPUB:PTIJLBXB !SSSFFFZZZ
    
    

    View Slide