タップルSREはタップルの成長をどこまで支えられるか / tapple-SRE
by
CyberAgent
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
λοϓϧSRE λοϓϧͷΛ Ͳ͜·Ͱࢧ͑ΒΕΔ͔ λοϓϧͷकΓͷϛογϣϯΛ୲͏λοϓϧSREʮ҆શͱ࠷దʯͷ׆ಈ࣠ Ͱ20184݄͔Β׆ಈ։࢝͠·ͨ͠ɻ λοϓϧSREͷݱࡏͷ׆ಈ༰ͱɺࠓޙλοϓϧͷΛSREͱͯ͠ͲͷΑ ͏ʹࢧ͔͑ͯ͘ʹ͍͓ͭͯ͠·͢ɻ ϚονϯάΤʔδΣϯτɹއా ྨ !1
Slide 2
Slide 2 text
1. αʔϏεհ 2. λοϓϧSREͷઃཱഎܠ 3. ׆ಈ༰ 4. ՝ղܾͷํ 5. ظ՝ 6. தظઓུ 7. ·ͱΊ 8. ࠷ޙʹ !2
Slide 3
Slide 3 text
ϓϩϑΟʔϧ • 20124݄ αΠόʔΤʔδΣϯτ৽ଔೖࣾ Ξϝʔόϐά ։ൃΤϯδχΞ ίΞγε ৽نΞϓϦ্ཱͪ͛ • 20186݄ ϚονϯάΤʔδΣϯτग़ λοϓϧੜ ։ൃΤϯδχΞ SREΤϯδχΞ !3
Slide 4
Slide 4 text
αʔϏεհ !4
Slide 5
Slide 5 text
λοϓϧੜʹ͍ͭͯ ए͍உঁ͕झຯͰܨ͕Δ࿀׆αʔϏε !5
Slide 6
Slide 6 text
λοϓϧੜʹ͍ͭͯ झຯͰΈͷҟੑΛ୳͢ एऀͷར༻ׂ߹͕ߴ͍ !6
Slide 7
Slide 7 text
ϚονϯάΞϓϦͷར༻ !7
Slide 8
Slide 8 text
20~30ͷएऀͷ5ਓʹ1ਓ !8 શࠃͷʙࡀͷະࠗͷஉঁʹฉ͍ͨʮϚονϯάΞϓϦʹؔ͢Δௐࠪʯ IUUQTQSUJNFTKQNBJOIUNMSEQIUNM
Slide 9
Slide 9 text
ϚονϯάΞϓϦʹର͢Δ ੈؒͷΠϝʔδมΘΓͭͭ͋Δ !9
Slide 10
Slide 10 text
λοϓϧॱௐʹ 2018ʹձһ400ສಥഁ !10
Slide 11
Slide 11 text
λοϓϧॱௐʹ ࡢൺͰ७རӹ2ഒҎ্ͷ !11
Slide 12
Slide 12 text
ϚονϯάΤʔδΣϯτͷϝϯόʔ !12
Slide 13
Slide 13 text
ϚονϯάΤʔδΣϯτͷϝϯόʔ ຊؾͰʮग़ձ͍ͰੈքΛม͑ΔʯͨΊʹऔΓΉ͍ϝϯόʔ͔Γ !13
Slide 14
Slide 14 text
·ͣɺϚʔέοτγΣΞͰ ຊҰΛࢦ͠·͢ !14
Slide 15
Slide 15 text
λοϓϧSREͷઃཱഎܠ !15
Slide 16
Slide 16 text
ຊҰΛࢦͯ͠ λοϓϧͰߦͳ͍ͬͯΔ͜ͱ !16
Slide 17
Slide 17 text
νʔϜ੍։ൃ • νʔϜ੍ͷ։ൃελΠϧ ՝ۚ / UXվળ / ւ֎ / CS ... • ϚονϯάࢢܹԽ ػೳͷඪ४Խ ৽ػೳͷఏڙ • ߴʹ։ൃΛਐΊ͍ͨ !17
Slide 18
Slide 18 text
ΤϯδχΞෆ !18
Slide 19
Slide 19 text
৫Λεέʔϧͤ͞Δ !19
Slide 20
Slide 20 text
৫Λεέʔϧͤ͞Δ ୯७ʹਓΛ૿ͤྑ͍Θ͚Ͱͳ͍ !20
Slide 21
Slide 21 text
৫Λεέʔϧͤ͞Δ ࣭ੜ࢈ੑΛ୲อͯ͠։ൃʹઐ೦Ͱ͖ΔڥΛ࡞Δඞཁ !21
Slide 22
Slide 22 text
ϩʔϧϞσϧͱͳΔνʔϜ !22
Slide 23
Slide 23 text
Google SRE • αΠτͷ৴པੑΛकΔ • SREDevOpsͷGoogleతͳ࣮ફ • ಠࣗͷӡ༻ϓϥΫςΟε ੜ࢈ੑͷ୲อ ࣭ͷ୲อ ... etc • ॻ੶ͰମܥతʹGoogle SREͷϓϥΫ ςΟεΛशಘՄೳ !23
Slide 24
Slide 24 text
λοϓϧ SRE • λοϓϧͰ৫Λεέʔϧ͍ͤͨ͞ • αʔϏεͷ࣭ੜ࢈ੑΛ୲อ͍ͨ͠ • GoogleSREͷ׆ಈ༰Ͱཁ࣮݅ݱՄೳ • 20184݄ʹSREΛλοϓϧʹઃཱ 201810݄ΑΓ2ਓମ੍ !24
Slide 25
Slide 25 text
׆ಈ༰ !25
Slide 26
Slide 26 text
ଞࣾͷSREͷ׆ಈࣄྫ !26
Slide 27
Slide 27 text
SREͷ׆ಈ༰༷ʑ SREͷަྲྀձ SRE LoungeͰ֤ࣾͷSREΛൃද !27
Slide 28
Slide 28 text
SREͷ׆ಈ༰༷ʑ • SREڥʹԠͯ͡׆ಈ༰͕ҟͳΔ ΞʔΩςΫνϟ SREͷઃཱίϯςΩετ SREͷਓһ ϝϯόʔͷಘҙ ϓϩμΫτͷஈ֊ ... etc • Google SREʹֶͼಠࣗͷϓϥΫςΟεΛੜΈग़͢ !28
Slide 29
Slide 29 text
Google SREʹݻࣥ͗ͣ͢͠ɺ λοϓϧͷSREΛࢦ͢ !29
Slide 30
Slide 30 text
λοϓϧͷSREͷ׆ಈ༰ !30
Slide 31
Slide 31 text
λοϓϧSREͷ׆ಈ༰ GoogleSREͷ׆ಈ༰Λܧঝ͠ɺλοϓϧͷSREͷ׆ಈΛఆٛ !31
Slide 32
Slide 32 text
λοϓϧSREͷ׆ಈ༰ • λοϓϧSREͷ׆ಈ༰ଟذʹΓۀ͕ཧղ͞ΕͮΒ͍ ϏδωεαΠυͷϝϯόʔʹ׆ಈ༰Λ͑Δඞཁ ׆ಈ࣠ΛҰݴͰදݱ͢Δ͜ͱʹ !32
Slide 33
Slide 33 text
λοϓϧSREͷ׆ಈ༰ ׆ಈ࣠ͱͯ͠ʮ҆શͱ࠷దʯͱදݱ !33
Slide 34
Slide 34 text
՝ղܾͷํ !34
Slide 35
Slide 35 text
ݩͷ՝͕ଟ͍ !35
Slide 36
Slide 36 text
ظ՝ •҆શ؍ ϐʔΫଳͰͷύϑΥʔϚϯεԼ োରԠϑϩʔͷඋ ... etc •࠷ద؍ ඇޮӡ༻ ଐਓԽͨ͠ӡ༻ϑϩʔ ... etc !36
Slide 37
Slide 37 text
ظ՝ • ݩ՝͔Γରॲ͍ͯ͠ΒΕͳ͍ SRE͕ෛ࠴ฦ٫νʔϜͷΑ͏ͳݟ͑ํʹ ҆શͱ࠷ద؍Ͱͷ࣮ߦλεΫ͕ݮͬͨ࣌ͷଘࡏҙ͕ٛग़ͮ͠Β͍ ݩ͔Γݟ͍ͯͯେ͖ͳෛ࠴Λ๊͔͑Ͷͳ͍ !37
Slide 38
Slide 38 text
தظઓུඞཁ !38
Slide 39
Slide 39 text
தظઓུ • ҆શ؍ ࠓޙൃੜ͢ΔϦεΫͷରࡦ • ࠷ద؍ ࣄۀͷཧঢ়ଶΛ࣮ݱ͢ΔΞʔΩςΫνϟ !39
Slide 40
Slide 40 text
ظͷ՝ղܾͱதظઓུ 2ͭͷࢹͰ҆શͱ࠷దͷ՝ʹ͖߹͏ !40
Slide 41
Slide 41 text
ظ՝ !41
Slide 42
Slide 42 text
ݩͷ՝͕ଟ͍ !42
Slide 43
Slide 43 text
ظ՝ͷఆٛ • ඞͣରԠ͖͢λεΫͱฒߦͯ͠ɺ୲อ ͖҆͢શͱ࠷దͷج४͕ඞཁ ύϑΥʔϚϯε ΤϥʔϨʔτ Մ༻ੑ ... etc !43
Slide 44
Slide 44 text
ਖ਼ৗͱҟৗͷڥքΛͲ͏ܾΊΔ͔ !44
Slide 45
Slide 45 text
SLO • SLI(Service Level Indicator) ఏڙ͢ΔαʔϏεͷ࣭Λܭଌ͢Δࢦඪ • SLO(Service Level Objective) ֤SLIʹର͢Δඪ !45
Slide 46
Slide 46 text
SLO • ΤϥʔόδΣοτ SLOΛຬͨ͢ൣғͰͷෆ۩߹Λڐ༰ தظઓུʹ͚Δ͜ͱ͕Մೳ • SLOʹΑΓ୲อ͖҆͢શͱ࠷దͷج४Λఆٛ Մೳ • ৫ԣஅͷඪʹ͢Δ͜ͱͰɺ҆શͱ࠷దͷج ४ͷ୲อͷ্͕֬ !46
Slide 47
Slide 47 text
λοϓϧͰӡ༻தͷSLO !47
Slide 48
Slide 48 text
λοϓϧͰӡ༻தͷSLO • APIޭ ఆٛɿɹਖ਼ৗϦΫΤετ / ૯ϦΫΤετ * 100 ඪɿ99.9%Ҏ্ • ϝϯς ఆٛɿɹ503ΤϥʔҎ֎ / ૯ϦΫΤετ * 100 ඪɿ99.9%Ҏ্ • APIϨεϙϯελΠϜ (200msҎԼ) ఆٛɿɹ200msҎԼͷਖ਼ৗϦΫΤετ / ૯ϦΫΤετ * 100 ඪɿ95%Ҏ্ !48
Slide 49
Slide 49 text
λοϓϧͰӡ༻தͷSLO • DatadogͰՄࢹԽ • ΤϥʔόδΣοτΛஶ͘͠ফඅ͢Δ ߹ʹΞϥʔτ • ఆظతʹαʔόΤϯδχΞશମͰࢹ ֬ೝ !49
Slide 50
Slide 50 text
ಠࣗͷSLOར༻ํ๏ !50
Slide 51
Slide 51 text
ϦεΫείΞ • ະղܾͷϙετϞʔςϜͷ࠶ൃࢭࡦΛ SLOͰཧ • োൃੜ࣌ɺোӨڹΛ̏ஈ֊ͰධՁ Ϣʔβ͍߹ΘͤΛࢀߟʹӨڹΛධՁ • ࠶ൃࢭࡦΛোӨڹʹԠͯ͡είΞԽ • ະ࣮ࢪͷ࠶ൃࢭࡦͷείΞͷ૯Λো ϦεΫείΞͱఆٛ !51
Slide 52
Slide 52 text
ϦεΫείΞ • োϦεΫείΞΛ100ҎԼʹอͭ ܦӦʹ߹ҙΛऔΓɺ৫ڞ௨ͷඪʹ 100Λ͑ͨ߹։ൃΛετοϓ • DatadogͰՄࢹԽ ఆظతʹোϦεΫείΞΛ৫શମʹڞ༗ !52
Slide 53
Slide 53 text
ࠓޙՃ͢ΔϦεΫείΞ !53
Slide 54
Slide 54 text
ϦεΫείΞ ηΩϡϦςΟʔΞηεϝϯτγʔτΛར༻ͨ͠ηΩϡϦςΟʔϦεΫείΞ !54
Slide 55
Slide 55 text
ϦεΫείΞ εΩϧϚοϓΛར༻ͨ͠োϦεΫείΞ !55
Slide 56
Slide 56 text
தظઓུ !56
Slide 57
Slide 57 text
தظઓུͷఆٛ ࠓޙൃੜ͢ΔϦεΫͷରࡦɺࣄۀͷཧঢ়ଶͷ࣮ݱ !57
Slide 58
Slide 58 text
தظઓུΛ໌ྎԽ͢Δ அࡐྉ͕ඞཁ !58
Slide 59
Slide 59 text
தظઓུͷ໌ྎԽ • ࠓޙൃੜ͢ΔϦεΫͷ໌ྎԽ ܦӦʹࣄۀܭըΛཁٻ ࣄۀܭըΛ્͢ΔϦεΫΛνΣοΫ !59
Slide 60
Slide 60 text
தظઓུͷ໌ྎԽ • ཧঢ়ଶ࣮ݱͷͨΊଟ໘తʹ՝ཧ SRE × ։ൃΤϯδχΞMTG ... ։ൃࢹ SRE × ٕज़ϘʔυMTG ... ٕज़ઓུࢹ SRE × ܦӦ × ٕज़ϘʔυMTG ... ࣄۀࢹ • ٞΛ௨ͯ͡։ൃνʔϜܦӦͷ՝ ཧঢ়ଶΛ͢Γ߹ΘͤΔ !60
Slide 61
Slide 61 text
ࣄۀͷཧঢ়ଶͷఆٛྫ !61
Slide 62
Slide 62 text
ཧঢ়ଶͷఆٛྫ ݕࡧΞϧΰϦζϜ = ҟੑͷදࣔॱং !62
Slide 63
Slide 63 text
ཧঢ়ଶͷఆٛྫ • ݕࡧΞϧΰϦζϜͷ՝ཧ ৫Λεέʔϧͤ͞Δඞཁ िҰͷϦϦʔεͰPDCAΛճͮ͠Β͍ ࣝͷܧঝ͕దʹ͞Ε͍ͯͳ͍՝ !63
Slide 64
Slide 64 text
ཧঢ়ଶͷఆٛྫ • ݕࡧΞϧΰϦζϜͷ՝ཧ ৫Λεέʔϧͤ͞Δඞཁ νʔϜͷݖݶҕৡͰ৫Λεέʔϧ िҰͷϦϦʔεͰPDCAΛճͮ͠Β͍ ςετڥΛ֤αʔϏεͰඋ͢Δ͜ͱͰɺ͍ͭͰ ϦϦʔεͰ͖Δঢ়ଶʹ ࣝͷܧঝ͕దʹ͞Ε͍ͯͳ͍՝ νʔϜΛݻఆࣝ͠ͷू !64
Slide 65
Slide 65 text
ϚΠΫϩαʔϏεԽͷਪਐத !65
Slide 66
Slide 66 text
·ͱΊ !66
Slide 67
Slide 67 text
·ͱΊ • ҆શͱ࠷దͷ׆ಈ࣠ • ظࢹ SLOΛຬͨ͢Ұఆਫ४ͷج४Λ୲อ • தظઓུ ࣄۀܭըΛ્͢ΔϦεΫΛഉআ ࣄۀܭըΛଅਐͤ͞Δཧ૾ͷ࣮ݱ !67
Slide 68
Slide 68 text
Ͳ͜·ͰλοϓϧͷΛ ࢧ͑ΒΕΔ͔ʁ !68
Slide 69
Slide 69 text
ࢧ͑ΔͷͰͳ͘ Ή͠ΖΛଅਐͤ͞Δ !69
Slide 70
Slide 70 text
࠷ޙʹ !70
Slide 71
Slide 71 text
ཧͱݱ࣮ͷΪϟοϓ • SREͷਓࡐෆ AWSҠઃ(2018) ւ֎ਐग़(2019) • λοϓϧSRE20182݄࣌Ͱ2ਓ Πϯϑϥ։ൃΤϯδχΞͷڠྗແ͠ʹճ Βͳ͍ !71
Slide 72
Slide 72 text
SREืू • λοϓϧͷϚʔέοτγΣΞΛࠃ1Ґ ʹಋ͘SREΤϯδχΞΛืू !72
Slide 73
Slide 73 text
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ !73