タップルSREはタップルの成長をどこまで支えられるか / tapple-SRE

Slide 1

Slide 1 text

λοϓϧSRE͸ λοϓϧͷ੒௕Λ Ͳ͜·Ͱࢧ͑ΒΕΔ͔ λοϓϧͷकΓͷϛογϣϯΛ୲͏λοϓϧSRE͸ʮ҆શͱ࠷దʯͷ׆ಈ࣠ Ͱ2018೥4݄͔Β׆ಈ։࢝͠·ͨ͠ɻ λοϓϧSREͷݱࡏͷ׆ಈ಺༰ͱɺࠓޙλοϓϧͷ੒௕ΛSREͱͯ͠ͲͷΑ ͏ʹࢧ͔͑ͯ͘ʹ͍͓ͭͯ࿩͠·͢ɻ ϚονϯάΤʔδΣϯτɹއా ྨ !1

Slide 2

Slide 2 text

1. αʔϏε঺հ 2. λοϓϧSREͷઃཱഎܠ 3. ׆ಈ಺༰ 4. ՝୊ղܾͷํ਑ 5. ୹ظ՝୊ 6. த௕ظઓུ 7. ·ͱΊ 8. ࠷ޙʹ !2

Slide 3

Slide 3 text

ϓϩϑΟʔϧ • 2012೥4݄ αΠόʔΤʔδΣϯτ৽ଔೖࣾ  Ξϝʔόϐά ։ൃΤϯδχΞ  ίΞγε  ৽نΞϓϦ্ཱͪ͛ • 2018೥6݄ ϚονϯάΤʔδΣϯτग़޲  λοϓϧ஀ੜ ։ൃΤϯδχΞ SREΤϯδχΞ !3

Slide 4

Slide 4 text

αʔϏε঺հ !4

Slide 5

Slide 5 text

λοϓϧ஀ੜʹ͍ͭͯ ए͍உঁ͕झຯͰܨ͕Δ࿀׆αʔϏε !5

Slide 6

Slide 6 text

λοϓϧ஀ੜʹ͍ͭͯ झຯͰ޷ΈͷҟੑΛ୳͢ एऀͷར༻ׂ߹͕ߴ͍ !6

Slide 7

Slide 7 text

ϚονϯάΞϓϦͷར༻཰ !7

Slide 8

Slide 8 text

20~30୅ͷएऀͷ5ਓʹ1ਓ !8 શࠃͷʙࡀͷະࠗͷஉঁʹฉ͍ͨʮϚονϯάΞϓϦʹؔ͢Δௐࠪʯ IUUQTQSUJNFTKQNBJOIUNMSEQIUNM

Slide 9

Slide 9 text

ϚονϯάΞϓϦʹର͢Δ ੈؒͷΠϝʔδ͸มΘΓͭͭ͋Δ !9

Slide 10

Slide 10 text

λοϓϧ͸ॱௐʹ੒௕ 2018೥ʹձһ਺400ສಥഁ !10

Slide 11

Slide 11 text

λοϓϧ͸ॱௐʹ੒௕ ࡢ೥ൺͰ७རӹ͸2ഒҎ্ͷ੒௕ !11

Slide 12

Slide 12 text

ϚονϯάΤʔδΣϯτͷϝϯόʔ !12

Slide 13

Slide 13 text

ϚονϯάΤʔδΣϯτͷϝϯόʔ ຊؾͰʮग़ձ͍ͰੈքΛม͑ΔʯͨΊʹऔΓ૊Ή೤͍ϝϯόʔ͹͔Γ !13

Slide 14

Slide 14 text

·ͣ͸ɺϚʔέοτγΣΞͰ ೔ຊҰΛ໨ࢦ͠·͢ !14

Slide 15

Slide 15 text

λοϓϧSREͷઃཱഎܠ !15

Slide 16

Slide 16 text

೔ຊҰΛ໨ࢦͯ͠ λοϓϧͰߦͳ͍ͬͯΔ͜ͱ !16

Slide 17

Slide 17 text

νʔϜ੍։ൃ • νʔϜ੍ͷ։ൃελΠϧ ՝ۚ / UXվળ / ւ֎ / CS ... • Ϛονϯάࢢ৔͸ܹԽ ػೳͷඪ४Խ ৽ػೳͷఏڙ • ߴ଎ʹ։ൃΛਐΊ͍ͨ !17

Slide 18

Slide 18 text

ΤϯδχΞෆ଍ !18

Slide 19

Slide 19 text

૊৫Λεέʔϧͤ͞Δ !19

Slide 20

Slide 20 text

૊৫Λεέʔϧͤ͞Δ ୯७ʹਓΛ૿΍ͤ͹ྑ͍Θ͚Ͱ͸ͳ͍ !20

Slide 21

Slide 21 text

૊৫Λεέʔϧͤ͞Δ ඼࣭΍ੜ࢈ੑΛ୲อͯ͠։ൃʹઐ೦Ͱ͖Δ؀ڥΛ࡞Δඞཁ !21

Slide 22

Slide 22 text

ϩʔϧϞσϧͱͳΔνʔϜ !22

Slide 23

Slide 23 text

Google SRE • αΠτͷ৴པੑΛकΔ • SRE͸DevOpsͷGoogleతͳ࣮ફ • ಠࣗͷӡ༻ϓϥΫςΟε ੜ࢈ੑͷ୲อ ඼࣭ͷ୲อ ... etc • ॻ੶ͰମܥతʹGoogle SREͷϓϥΫ ςΟεΛशಘՄೳ !23

Slide 24

Slide 24 text

λοϓϧ SRE • λοϓϧͰ͸૊৫Λεέʔϧ͍ͤͨ͞ • αʔϏεͷ඼࣭΍ੜ࢈ੑΛ୲อ͍ͨ͠ • GoogleSREͷ׆ಈ಺༰Ͱཁ࣮݅ݱՄೳ • 2018೥4݄ʹSREΛλοϓϧʹઃཱ 2018೥10݄ΑΓ2ਓମ੍ !24

Slide 25

Slide 25 text

׆ಈ಺༰ !25

Slide 26

Slide 26 text

ଞࣾͷSREͷ׆ಈࣄྫ !26

Slide 27

Slide 27 text

SREͷ׆ಈ಺༰͸༷ʑ SREͷަྲྀձ SRE LoungeͰ֤ࣾͷSREΛൃද !27

Slide 28

Slide 28 text

SREͷ׆ಈ಺༰͸༷ʑ • SRE͸؀ڥʹԠͯ͡׆ಈ಺༰͕ҟͳΔ ΞʔΩςΫνϟ SREͷઃཱίϯςΩετ SREͷਓһ ϝϯόʔͷಘҙ෼໺ ϓϩμΫτͷ੒௕ஈ֊ ... etc • Google SREʹֶͼಠࣗͷϓϥΫςΟεΛੜΈग़͢ !28

Slide 29

Slide 29 text

Google SREʹݻࣥ͗ͣ͢͠ɺ λοϓϧͷSREΛ໨ࢦ͢ !29

Slide 30

Slide 30 text

λοϓϧͷSREͷ׆ಈ಺༰ !30

Slide 31

Slide 31 text

λοϓϧSREͷ׆ಈ಺༰ GoogleSREͷ׆ಈ಺༰Λܧঝ͠ɺλοϓϧͷSREͷ׆ಈΛఆٛ !31

Slide 32

Slide 32 text

λοϓϧSREͷ׆ಈ಺༰ • λοϓϧSREͷ׆ಈ಺༰͸ଟذʹ౉Γۀ຿͕ཧղ͞ΕͮΒ͍ ϏδωεαΠυͷϝϯόʔʹ΋׆ಈ಺༰Λ఻͑Δඞཁ ׆ಈ࣠ΛҰݴͰදݱ͢Δ͜ͱʹ !32

Slide 33

Slide 33 text

λοϓϧSREͷ׆ಈ಺༰ ׆ಈ࣠ͱͯ͠ʮ҆શͱ࠷దʯͱදݱ !33

Slide 34

Slide 34 text

՝୊ղܾͷํ਑ !34

Slide 35

Slide 35 text

଍ݩͷ՝୊͕ଟ͍ !35

Slide 36

Slide 36 text

୹ظ՝୊ •҆શ؍఺ ϐʔΫଳͰͷύϑΥʔϚϯε௿Լ ো֐ରԠϑϩʔͷ੔උ ... etc •࠷ద؍఺ ඇޮ཰ӡ༻ ଐਓԽͨ͠ӡ༻ϑϩʔ ... etc !36

Slide 37

Slide 37 text

୹ظ՝୊ • ଍ݩ՝୊͹͔Γରॲ͍ͯ͠ΒΕͳ͍ SRE͕ෛ࠴ฦ٫νʔϜͷΑ͏ͳݟ͑ํʹ ҆શͱ࠷ద؍఺Ͱͷ࣮ߦλεΫ͕ݮͬͨ࣌ͷଘࡏҙ͕ٛग़ͮ͠Β͍ ଍ݩ͹͔Γݟ͍ͯͯ͸େ͖ͳෛ࠴Λ๊͔͑Ͷͳ͍ !37

Slide 38

Slide 38 text

த௕ظઓུ΋ඞཁ !38

Slide 39

Slide 39 text

த௕ظઓུ • ҆શ؍఺ ࠓޙൃੜ͢ΔϦεΫ΁ͷରࡦ • ࠷ద؍఺ ࣄۀͷཧ૝ঢ়ଶΛ࣮ݱ͢ΔΞʔΩςΫνϟ !39

Slide 40

Slide 40 text

୹ظͷ՝୊ղܾͱத௕ظઓུ 2ͭͷࢹ఺Ͱ҆શͱ࠷దͷ՝୊ʹ޲͖߹͏ !40

Slide 41

Slide 41 text

୹ظ՝୊ !41

Slide 42

Slide 42 text

଍ݩͷ՝୊͕ଟ͍ !42

Slide 43

Slide 43 text

୹ظ՝୊ͷఆٛ • ඞͣରԠ͢΂͖λεΫͱฒߦͯ͠ɺ୲อ ͢΂͖҆શͱ࠷దͷج४͕ඞཁ ύϑΥʔϚϯε ΤϥʔϨʔτ Մ༻ੑ ... etc !43

Slide 44

Slide 44 text

ਖ਼ৗͱҟৗͷڥքΛͲ͏ܾΊΔ͔ !44

Slide 45

Slide 45 text

SLO • SLI(Service Level Indicator) ఏڙ͢ΔαʔϏεͷ඼࣭Λܭଌ͢Δࢦඪ • SLO(Service Level Objective) ֤SLIʹର͢Δ໨ඪ஋ !45

Slide 46

Slide 46 text

SLO • ΤϥʔόδΣοτ SLOΛຬͨ͢ൣғͰͷෆ۩߹Λڐ༰ த௕ظઓུʹ޲͚Δ͜ͱ͕Մೳ • SLOʹΑΓ୲อ͢΂͖҆શͱ࠷దͷج४Λఆٛ Մೳ • ૊৫ԣஅͷ໨ඪʹ͢Δ͜ͱͰɺ҆શͱ࠷దͷج ४ͷ୲อͷ֬౓͕޲্ !46

Slide 47

Slide 47 text

λοϓϧͰӡ༻தͷSLO !47

Slide 48

Slide 48 text

λοϓϧͰӡ༻தͷSLO • API੒ޭ཰ ఆٛɿɹਖ਼ৗϦΫΤετ / ૯ϦΫΤετ਺ * 100 ໨ඪ஋ɿ99.9%Ҏ্ • ϝϯς཰ ఆٛɿɹ503ΤϥʔҎ֎ / ૯ϦΫΤετ਺ * 100 ໨ඪ஋ɿ99.9%Ҏ্ • APIϨεϙϯελΠϜ (200msҎԼ) ఆٛɿɹ200msҎԼͷਖ਼ৗϦΫΤετ / ૯ϦΫΤετ਺ * 100 ໨ඪ஋ɿ95%Ҏ্ !48

Slide 49

Slide 49 text

λοϓϧͰӡ༻தͷSLO • DatadogͰՄࢹԽ • ΤϥʔόδΣοτΛஶ͘͠ফඅ͢Δ৔ ߹ʹ͸Ξϥʔτ • ఆظతʹαʔόΤϯδχΞશମͰ໨ࢹ ֬ೝ !49

Slide 50

Slide 50 text

ಠࣗͷSLOར༻ํ๏ !50

Slide 51

Slide 51 text

ϦεΫείΞ • ະղܾͷϙετϞʔςϜͷ࠶ൃ๷ࢭࡦΛ SLOͰ؅ཧ • ো֐ൃੜ࣌ɺো֐Өڹ౓Λ̏ஈ֊ͰධՁ Ϣʔβ໰͍߹Θͤ਺ΛࢀߟʹӨڹ౓ΛධՁ • ࠶ൃ๷ࢭࡦΛো֐Өڹ౓ʹԠͯ͡είΞԽ • ະ࣮ࢪͷ࠶ൃ๷ࢭࡦͷείΞͷ૯࿨Λো֐ ϦεΫείΞͱఆٛ !51

Slide 52

Slide 52 text

ϦεΫείΞ • ো֐ϦεΫείΞΛ100ҎԼʹอͭ ܦӦ૚ʹ߹ҙΛऔΓɺ૊৫ڞ௨ͷ໨ඪʹ 100఺Λ௒͑ͨ৔߹։ൃΛετοϓ • DatadogͰՄࢹԽ ఆظతʹো֐ϦεΫείΞΛ૊৫શମʹڞ༗ !52

Slide 53

Slide 53 text

ࠓޙ௥Ճ͢ΔϦεΫείΞ !53

Slide 54

Slide 54 text

ϦεΫείΞ ηΩϡϦςΟʔΞηεϝϯτγʔτΛར༻ͨ͠ηΩϡϦςΟʔϦεΫείΞ !54

Slide 55

Slide 55 text

ϦεΫείΞ εΩϧϚοϓΛར༻ͨ͠଱ো֐ϦεΫείΞ !55

Slide 56

Slide 56 text

த௕ظઓུ !56

Slide 57

Slide 57 text

த௕ظઓུͷఆٛ ࠓޙൃੜ͢ΔϦεΫ΁ͷରࡦ΍ɺࣄۀͷཧ૝ঢ়ଶͷ࣮ݱ !57

Slide 58

Slide 58 text

த௕ظઓུΛ໌ྎԽ͢Δ ൑அࡐྉ͕ඞཁ !58

Slide 59

Slide 59 text

த௕ظઓུͷ໌ྎԽ • ࠓޙൃੜ͢ΔϦεΫͷ໌ྎԽ ܦӦ૚ʹࣄۀܭըΛཁٻ ࣄۀܭըΛ્֐͢ΔϦεΫΛνΣοΫ !59

Slide 60

Slide 60 text

த௕ظઓུͷ໌ྎԽ • ཧ૝ঢ়ଶ࣮ݱͷͨΊଟ໘తʹ՝୊੔ཧ SRE × ։ൃΤϯδχΞMTG ... ։ൃࢹ఺  SRE × ٕज़ϘʔυMTG ... ٕज़ઓུࢹ఺ SRE × ܦӦ × ٕज़ϘʔυMTG ... ࣄۀࢹ఺ • ٞ࿦Λ௨ͯ͡։ൃνʔϜ΍ܦӦ૚ͷ՝ ୊΍ཧ૝ঢ়ଶΛ͢Γ߹ΘͤΔ !60

Slide 61

Slide 61 text

ࣄۀͷཧ૝ঢ়ଶͷఆٛྫ !61

Slide 62

Slide 62 text

ཧ૝ঢ়ଶͷఆٛྫ ݕࡧΞϧΰϦζϜ = ҟੑͷදࣔॱং !62

Slide 63

Slide 63 text

ཧ૝ঢ়ଶͷఆٛྫ • ݕࡧΞϧΰϦζϜͷ՝୊੔ཧ ૊৫Λεέʔϧͤ͞Δඞཁ िҰͷϦϦʔεͰPDCAΛճͮ͠Β͍ ஌ࣝͷܧঝ͕ద੾ʹ͞Ε͍ͯͳ͍՝୊ !63

Slide 64

Slide 64 text

ཧ૝ঢ়ଶͷఆٛྫ • ݕࡧΞϧΰϦζϜͷ՝୊੔ཧ ૊৫Λεέʔϧͤ͞Δඞཁ νʔϜ΁ͷݖݶҕৡͰ૊৫Λεέʔϧ िҰͷϦϦʔεͰPDCAΛճͮ͠Β͍ ςετ؀ڥΛ֤αʔϏεͰ੔උ͢Δ͜ͱͰɺ͍ͭͰ΋ ϦϦʔεͰ͖Δঢ়ଶʹ ஌ࣝͷܧঝ͕ద੾ʹ͞Ε͍ͯͳ͍՝୊ νʔϜΛݻఆ͠஌ࣝͷू໿ !64

Slide 65

Slide 65 text

ϚΠΫϩαʔϏεԽͷਪਐத !65

Slide 66

Slide 66 text

·ͱΊ !66

Slide 67

Slide 67 text

·ͱΊ • ҆શͱ࠷దͷ׆ಈ࣠ • ୹ظࢹ఺ SLOΛຬͨ͢Ұఆਫ४ͷج४Λ୲อ • த௕ظઓུ ࣄۀܭըΛ્֐͢ΔϦεΫΛഉআ  ࣄۀܭըΛଅਐͤ͞Δཧ૝૾ͷ࣮ݱ !67

Slide 68

Slide 68 text

Ͳ͜·Ͱλοϓϧͷ੒௕Λ ࢧ͑ΒΕΔ͔ʁ !68

Slide 69

Slide 69 text

ࢧ͑ΔͷͰ͸ͳ͘ Ή͠Ζ੒௕Λଅਐͤ͞Δ !69

Slide 70

Slide 70 text

࠷ޙʹ !70

Slide 71

Slide 71 text

ཧ૝ͱݱ࣮ͷΪϟοϓ • SREͷਓࡐෆ଍ AWSҠઃ(2018೥) ւ֎ਐग़(2019೥) • λοϓϧSRE͸2018೥2݄࣌఺Ͱ2ਓ Πϯϑϥ΍։ൃΤϯδχΞͷڠྗແ͠ʹ͸ճ Βͳ͍ !71

Slide 72

Slide 72 text

SREืू • λοϓϧͷϚʔέοτγΣΞΛࠃ಺1Ґ ʹಋ͘SREΤϯδχΞΛืू !72

Slide 73

Slide 73 text

͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ !73