自然のごとく複雑化したウェブシステムの運用自律化に向けて / Experimentable Infrastructure

Slide 1

Slide 1 text

ࣗવͷ͝ͱ͘ෳࡶԽͨ͠ ΢ΣϒγεςϜͷӡ༻ࣗ཯Խ ʹ޲͚ͯ גࣜձࣾ͸ͯͳ ௶಺ ༎थ id:y_uuki / @y_uuk1 2017/11/24 ਓ޻஌ೳֶձ ߹ಉݚڀձ ୈ̏ճ΢ΣϒαΠΤϯεݚڀձ: ࣗવݱ৅ͱͯ͠ͷ΢Σϒ ট଴ߨԋ

Slide 2

Slide 2 text

id:y_uuki / @y_uuk1 ௶಺ ༎थ https://yuuk.io/ 2012೥ େࡕେֶ جૅ޻ֶ෦৘ใՊֶݚڀՊ ଔۀ 2013೥ େࡕେֶ ৘ใՊֶݚڀՊത࢜લظ՝ఔ ୀֶ ಉ೥ גࣜձࣾ͸ͯͳ ৽ଔೖࣾ 2017೥ݱࡏ γχΞΤϯδχΞɺςοΫϦʔυ

Slide 3

Slide 3 text

৘ใॲཧֶձ Πϯλʔωοτͱӡ༻ٕज़ͷݚڀձ

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

http://blog.yuuk.io/entry/ipsjone2017

Slide 6

Slide 6 text

ෳࡶͳ΢ΣϒγεςϜ͸ ͳʹ͔ҟৗ͕ى͖ͯ΋ ࣗવͷؾ·͙ΕʹΈ͑Δ

Slide 7

Slide 7 text

ݱࡏͷ΢ΣϒγεςϜ͸ࣗಈԽ͞Εͭͭ͋ ΔҰํͰඇৗʹෳࡶͰ͋Δ ͦͷৼΔ෣͍͸·ΔͰࣗવݱ৅ͷΑ͏ʹ ײ͡ΒΕΔ ݱ৅ͷϝΧχζϜͷ೺Ѳ͸೉͍͠

Slide 8

Slide 8 text

ෆ໌Ͱ͋Δ͜ͱ͸ʮා͞ʯʹͭͳ͕Δ ۙ୅ՊֶͷΞϓϩʔνͰ͋Δ ʮ؍ଌͱ࣮ݧʯΛಥ͖٧Ί ΢ΣϒγεςϜͷӡ༻͔Β ਓؒΛղ์͍ͨ͠

Slide 9

Slide 9 text

ࣗવͷ͝ͱ͘ෳࡶԽͨ͠ ΢ΣϒγεςϜͷӡ༻ࣗ཯Խ ʹ޲͚ͯ

Slide 10

Slide 10 text

ຊߨԋͰͷʮ໰͍ʯ • ٕज़֊૚ͱͯ͠ͷ΢ΣϒγεςϜͷࣗ཯ੑ͸ͲͷΑ͏ʹ ࣮ݱ͞Ε͍ͯΔͷ͔ɺ͜Ε͔ΒԿΛ໨ࢦ͢ͷ͔ • ΢ΣϒγεςϜ͕ɺ͍ΘΏΔෳࡶܥՊֶͷจ຺ʹ͓͚Δ ੜ໋΍ΧΦεͳͲͷੑ࣭Λຬͨ͢ͷ͔ • ΢ΣϒγεςϜͷࣗ཯Խͷઌʹͳʹ͕͋Δͷ͔

Slide 11

Slide 11 text

ΞδΣϯμ 1. ΢ΣϒγεςϜͷ৴པੑΛकΔ࢓ࣄ 2. ΢ΣϒγεςϜӡ༻ͷݱঢ়ͱ՝୊ 3. ΢ΣϒγεςϜͷࣗ཯ӡ༻΁ͷΞϓϩʔν 4. ӡ༻͔Βղ์͞Εͨͦͷઌʹ͋Δ΢ΣϒαΠΤϯε 5. ·ͱΊ

Slide 12

Slide 12 text

1. ΢ΣϒγεςϜͷ৴པੑΛ कΔ࢓ࣄ

Slide 13

Slide 13 text

ຊߨԋͰͷʮ΢ΣϒγεςϜʯ • ΢ΣϒαʔϏεΛߏ੒͢Δٕज़ཁૉͱཁૉͷͭͳ͕Γ • ٕज़ཁૉͱ͸ʮϒϥ΢βʯʮΠϯλʔωοτόοΫϘʔϯʯ ʮ΢Σϒαʔόʯʮσʔλϕʔεʯʮσʔληϯλʔ಺ωο τϫʔΫʯͳͲ • ಛʹσʔληϯλʔ಺ͷαʔόɾωοτϫʔΫ͓Αͼͦͷ ্Ͱಈ࡞͢Δ΢ΣϒΞϓϦέʔγϣϯΛࢦ͢ • ૯ମͱͯ͠ͷ΢ΣϒͰ͸ͳ͘ɺ୯Ұ૊৫͕ఏڙ͢ΔγεςϜ

Slide 14

Slide 14 text

σʔληϯλʔ Πϯλʔ ωοτ 1$ ਓʑ *P5ػث εϚʔτ ϑΥϯ αʔό αʔό αʔό σʔληϯλʔ αʔό αʔό αʔό

Slide 15

Slide 15 text

΢ΣϒγεςϜͷ։ൃͱӡ༻ • ࣄۀͷ։ൃͱӡ༻ΛʮSoftware Engineerʯ͕୲͏ • ΢ΣϒγεςϜͷ৴པੑΛ୲อ͢ΔͨΊͷ։ൃͱӡ༻Λ ʮSite Reliability Engineer(SRE)ʯ͕୲͏ • Ұੲલͷදݱ͸ʮ΢ΣϒΦϖϨʔγϣϯΤϯδχΞʯ • ͞Βʹͦͷੲ͸ɺʮγεςϜ؅ཧऀʯʮαʔό؅ཧऀʯ • ࡉ͔ͳࠩҟ͸͋ΕͲɺେ·͔ͳ2෼ߏ଄͸΢ΣϒۀքͰ͸ ීวత

Slide 16

Slide 16 text

αʔϏε։ൃɾӡ༻ 4PGUXBSF &OHJOFFST γεςϜ։ൃɾӡ༻ 4JUF3FMJBCJMJUZ &OHJOFFST

Slide 17

Slide 17 text

Site Reliability Engineering HOW GOOGLE RUNS PRODUCTION SYSTEMS Photo by O’reilly Media / CC by 3.0 http://shop.oreilly.com/product/0636920041528.do https://creativecommons.org/licenses/by/3.0/deed

Slide 18

Slide 18 text

΢ΣϒγεςϜͷ৴པੑͱ͸ • γεςϜ͕ఏڙ͢Δ΋ͷͷ͏ͪɺ࠷΋جຊతͳػೳ • γεςϜ͕ٻΊΒΕΔػೳΛɺఆΊΒΕͨ৚݅ͷԼͰɺఆΊ ΒΕͨظؒʹΘͨΓɺো֐Λى͜͢͜ͱͳ࣮͘ߦ͢Δ֬཰ • ʮఆΊΒΕͨ৚݅ʯʹ͸ɺʮԠ౴͕࣌ؒ˓msҎԼʯͳͲΛؚΉ • ͨͩ͠ɺ100%ͷ৴པੑΛ໨ࢦͯ͠͸͍͚ͳ͍ • Ϣʔβͷϥοϓτοϓɺࣗ୐ͷWiﬁɺISPͳͲ؅ཧ֎ͷγεςϜ͕͋Δ • ৴པੑ͸ࣄۀεϐʔυͱͷτϨʔυΦϑʹͳΓ΍͍͢ [1] [1]: P. O'Connor and A. Kleyner, Practical Reliability Engineering, 5th edition: Wiley, 2012.

Slide 19

Slide 19 text

৴པੑΛकΔ࢓ࣄ • αʔϏεͷՄ༻ੑɺϨΠςϯγɺύϑΥʔϚϯεɺޮ཰ ੑɺมߋ؅ཧɺϞχλϦϯάɺΩϟύγςΟϓϥϯχϯ άʹ੹೚Λ΋ͭ • ඞཁͳεΩϧ͸ଟذʹΘͨΔ • ίϯϐϡʔλΞʔΩςΫνϟɺωοτϫʔΫɺOSɺ෼ࢄγες Ϝɺσʔλϕʔεٕज़ɺ΢Σϒαʔόͷઐ໳஌ࣝ • ιϑτ΢ΣΞΤϯδχΞϦϯά [1] [1]: Betsy Beyer, et al.ฤ ᖒా෢உ, et al.؂༁ Skyגࣜձࣾ ۄ઒ཽ࢘༁,ʮSRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά ――Googleͷ ৴པੑΛࢧ͑ΔΤϯδχΞϦϯάνʔϜʯ,ΦϥΠϦʔɾδϟύϯ,2017/08

Slide 20

Slide 20 text

৴པੑΛकΓͭͭɺඅ༻Λ࠷খʹ͢Δ • ৴པੑΛकΔ͚ͩͰͳ͘ɺਓ݅අ΍σʔληϯλʔඅ༻Λখ ͘͢͞Δ͜ͱ΋ٻΊΒΕΔ • ਓ݅අ͸ιϑτ΢ΣΞʹΑΔӡ༻ޮ཰ԽʹΑΓ࡟ݮ • σʔληϯλʔඅ༻͸ιϑτ΢ΣΞͷ࣮ߦޮ཰ͷ޲্ʹΑΓ࡟ݮ • ৴པੑΛ੍໿৚݅ͱͯ͠ɺඅ༻Λ࠷খʹ͢Δ࠷దԽ໰୊Λղ ͍͍ͯΔͱ͍͑Δ • ಛʹఆܕ࡞ۀ(τΠϧ)ΛࣗಈԽ͠ɺਓؒͰ͸ͳ͘ίϯϐϡʔλ Λεέʔϧͤ͞ΔΑ͏ʹ͢Δ͜ͱ͕େ͖ͳ࢓ࣄ

Slide 21

Slide 21 text

ਓؒͱίϯϐϡʔλʹΑΔࣗ཯γεςϜ • Ұൠͷਓʑ͔ΒΈΕ͹ɺ΢ΣϒγεςϜ͸े෼ʹࣗ཯ಈ ࡞͍ͯ͠Δ • ͨͩ͠ɺͦͷཪͰ͸ਓؒͷख࡞ۀ΍൑அʹΑΓ৴པੑΛ ୲อ͍ͯ͠Δ • ਓ͕ؒͳʹ΋͠ͳ͚Ε͹ɺ͓Αͦ1िؒఔ౓Ͱ৴པੑ͸ ଛͳΘΕΔ͜ͱ΋͋Δ • ि຤΍௕ظٳՋத͸Φϯίʔϧ౰൪Λෑ͘

Slide 22

Slide 22 text

΢ΣϒγεςϜ ਓؒ 1$ ਓʑ *P5ػث εϚʔτ ϑΥϯ ίϯϐϡʔλ

Slide 23

Slide 23 text

΢ΣϒγεςϜ ਓؒ 1$ ਓʑ *P5ػث εϚʔτ ϑΥϯ ίϯϐϡʔλ

Slide 24

Slide 24 text

ίϯϐϡʔλͷΈͰγεςϜΛ ӡ༻Ͱ͖Δঢ়ଶʹ͢Δ͜ͱ͕໨ඪ

Slide 25

Slide 25 text

2. ΢ΣϒγεςϜӡ༻ͷݱঢ়ͱ ՝୊

Slide 26

Slide 26 text

(೔ຊͷ) ΢ΣϒγεςϜӡ༻ٕज़ ͷมભ

Slide 27

Slide 27 text

ࣗ࡞αʔό࣌୅ ~2010೥ • ळ༿ݪͰύʔπΛߪೖ͠ɺαʔόΛਓ͕૊Έཱ͍ͯͯͨ • ૊ΈཱͯͨαʔόΛϥοΫʹख࡞ۀͰ഑ஔ͍ͯͨ͠ • ࣗ࡞ͰյΕ΍͍ͨ͢Ίɺ৑௕Խػߏ΍εέʔϧΞ΢τػ ߏͳͲ৴པੑΛߴΊΔجૅػೳͷਁಁ • ͷͪʹϕϯμʔ੡αʔό΍Ϋϥ΢υ΁Ҡߦ͕ਐΉ • Xen΍KVMͳͲͷαʔόԾ૝Խٕज़ʹΑΓɺঃʑʹαʔ όΛϞϊ͔Βσʔλͱͯ͠ѻ͏ྲྀΕ͕Ͱ͖͸͡ΊΔ

Slide 28

Slide 28 text

Ϋϥ΢υ࣌୅ 2011೥ʙ • 2011೥AWS౦ژϦʔδϣϯ։ઃ͠ɺ༗໊΢Σϒاۀ͕Ҡߦ ͠͸͡ΊΔ • ඞཁͳͱ͖ʹ͙͢ʹϋʔυ΢ΣΞϦιʔε͕खʹೖΔ࣌୅ • ैདྷ͸೔୯ҐͷϦʔυλΠϜ͕෼୯Ґʹ • αʔόΛϓϩάϥϚϒϧʹ࡞੒͢Δ֓೦͕ొ৔ • ෛՙʹԠͯࣗ͡ಈͰαʔόΛ૿΍͢ͳͲͷಈతͳΠϯϑϥ ετϥΫνϟΛߏஙͰ͖ΔΑ͏ʹͳ͖ͬͯͨ https://aws.amazon.com/jp/aws_history/details/

Slide 29

Slide 29 text

ίϯςφܕԾ૝Խٕज़ͷ୆಄ 2013೥ʙ • Dockerͷొ৔ʹΑΓιϑτ΢ΣΞͷಈ࡞؀ڥΛؙ͝ͱ ύοέʔδԽ͠ɺ͞·͟·ͳ؀ڥʹ഑෍Ͱ͖ΔΑ͏ʹ • VMͱҟͳΓɺඵ୯ҐͰىಈ͢ΔͨΊɺΑΓಈతͳΠϯ ϑϥετϥΫνϟͷߏங͕Մೳʹͳͬͨ • Immutable Infrastructure(࢖͍ࣺͯαʔό)ͷ֓೦ొ৔

Slide 30

Slide 30 text

Site Reliability Engineering(SRE)ͷొ৔ • ʮ৴པੑʯΛ୲อ͢ΔΤϯδχΞϦϯάͱ͍͏ɺԿΛ͢Δ ٕज़΍ΤϯδχΞͳͷ͔͕͸͖ͬΓఆٛ͞Εͨ • ͦΕ·Ͱ͸ɺʮΠϯϑϥʯʮԼճΓʯͳͲͱ͍͏ݺ͹Εํ • ΢ΣϒΦϖϨʔγϣϯͱ͍͏୯ޠ΋͕͋ͬͨɺΦϖϨʔγϣ ϯ=ӡ༻ͷΠϝʔδ͕ڧ͍ • SRE͸ιϑτ΢ΣΞ։ൃΛॏࢹ͍ͯ͠Δ “ΠϯϑϥνʔϜվΊ Site Reliability Engineering (SRE) νʔϜʹͳΓ·ͨ͠” http://tech.mercari.com/entry/2015/11/18/153421

Slide 31

Slide 31 text

มભ·ͱΊ • ੲ͸ϋʔυ΢ΣΞΛௐୡ͠ɺख࡞ۀͰϥοΩϯά͍ͯͨ͠ • αʔόͷԾ૝Խٕज़ͷൃୡͱΞϓϦέʔγϣϯಈ࡞؀ڥύο έʔδϯάͷ֓೦ʹΑΓɺμΠφϛοΫͳΠϯϑϥετϥ Ϋνϟ͕ߏஙՄೳʹ • ιϑτ΢ΣΞΤϯδχΞϦϯάΛॏࢹͨ͠૊৫จԽͷਁಁ • ͜ͷ10೥Ͱιϑτ΢ΣΞʹΑΔӡ༻ࣗಈԽ͕େ෯ʹਐΜ Ͱ͖ͨ

Slide 32

Slide 32 text

ຊ౰͸ා͍ ΢ΣϒγεςϜ

Slide 33

Slide 33 text

ຊ౰͸ා͍΢ΣϒγεςϜ • ҟৗ͕ൃੜͯ͠΋ݪҼ͕Θ͔Βͳ͍͜ͱ͕͋Δ • γεςϜʹର͢Δૢ࡞͕҆શ͔Ͳ͏͔อূ͞Ε͍ͯͳ͍ • ࣗಈԽ͕ਐΜͰ͍Δ͔Βͦ͜ɺෆ໌Ͱ͋Δ͜ͱ͕ҟৗʹ ର͢ΔʮڪාʯΛ͏Ή • γεςϜͷৼΔ෣͍͕·ΔͰʮࣗવݱ৅ʯʹײ͡ΒΕΔ • ৼΔ෣͍ͷղ໌ʹଟ͘ͷ࣌ؒΛͱΒΕͨΓɺΘ͟ͱࣗಈ ԽΛආ͚ͯɺਓؒͷ൑அΛ͸͞΋͏ͱ͢Δ͜ͱ͕͋Δ

Slide 34

Slide 34 text

ຊ౰͸ා͍΢ΣϒγεςϜӡ༻: ྫ1 • ϋʔυ΢ΣΞͷΩϟύγςΟʹ͸·ͩ༨༟͕͋Δʹ΋͔͔ΘΒͣɺ 1୆͋ͨΓͷॲཧೳྗ͕಄ଧͪʹͳΔέʔε • ୆਺Λࣗಈ૿Ճͤ͞Δ΋ͷɺಛఆϊʔυ΁ͷ઀ଓ਺ͷڐ༰ྔΛ௒ ͑ͯ͠·͏ • ϚϧνεϨουϞσϧͷWebαʔόͰɺڞ༗ϝϞϦ্Ͱάϩʔό ϧϩοΫΛͱ͍ͬͯΔՕॴ͕͋Γɺಉ࣌ॲཧ਺͕΄΅1 • ScalaͷॲཧܥϨϕϧͷ໰୊Ͱಛఆʹ͕͔͔࣌ؒͬͨ

Slide 35

Slide 35 text

΢Σϒ αʔό ϦΫΤετ ϩʔυ όϥϯα Ϩεϙϯε σʔλϕʔε αʔό

Slide 36

Slide 36 text

΢Σϒ αʔό ϦΫΤετ ϩʔυ όϥϯα Ϩεϙϯε σʔλϕʔε αʔό $16͸༨͍ͬͯΔ ͷʹੑೳ͕಄ଧͪ

Slide 37

Slide 37 text

΢Σϒ αʔό ϦΫΤετ ϩʔυ όϥϯα Ϩεϙϯε σʔλϕʔε αʔό ࣗಈεέʔϧ

Slide 38

Slide 38 text

΢Σϒ αʔό ϦΫΤετ ϩʔυ όϥϯα Ϩεϙϯε σʔλϕʔε αʔό ઀ଓ਺ ্ݶʹ͋ͨΔ

Slide 39

Slide 39 text

αʔό͋ͨΓͷ ઀ଓ਺ΛݮΒͯ͠ௐઅ ΢Σϒ αʔό ϦΫΤετ ϩʔυ όϥϯα Ϩεϙϯε σʔλϕʔε αʔό

Slide 40

Slide 40 text

ੑೳݶք͕Θ͔Βͳ͍ ܥશମͷڍಈΛ஌Γ ੍ޚ͠ͳ͚Ε͹͍͚ͳ͍

Slide 41

Slide 41 text

• ෼ࢄσʔλϕʔεͷωοτϫʔΫ෼அ໰୊ • ϚελʔɾεϨʔϒͷ2୆ߏ੒ͷσʔλϕʔεαʔό • Ϛελʔ=>εϨʔϒ΁ϦΞϧλΠϜʹσʔλΛෳ੡ • Ϛελʔϊʔυ͕μ΢ϯ͢ΔͱϑΥϩϫʔϊʔυ͕Ϛε λʔ΁ঢ֨ • ωοτϫʔΫ͕෼அ͞ΕΔͱɺ྆ํͱ΋Ϛελʔ΁ • ͲͪΒ͔Ұํ΁σʔλ͕ॻ͖ࠐ·ΕɺҰ؏ੑ͕ͳ͘ͳΔ ຊ౰͸ා͍΢ΣϒγεςϜӡ༻: ྫ2

Slide 42

Slide 42 text

΢Σϒαʔό ϦΫΤετ Ϩεϙϯε Ϛελʔ εϨʔϒ

Slide 43

Slide 43 text

΢Σϒαʔό ϦΫΤετ Ϩεϙϯε Ϛελʔ εϨʔϒ ෼அ

Slide 44

Slide 44 text

΢Σϒαʔό ϦΫΤετ Ϩεϙϯε Ϛελʔ ྆ํ Ϛ ε λ ʔ Ϛελʔ

Slide 45

Slide 45 text

΢Σϒαʔό ϦΫΤετ Ϩεϙϯε Ϛελʔ ֬཰తʹͲͪΒ͔ ʹॻ͖ࠐΉ Ϛελʔ

Slide 46

Slide 46 text

ࣗಈԽʹΑΔฐ֐ • අ༻Λগͳ͘͢Δ͜ͱͰɺࣗಈԽ΍৑௕ԽػߏΛඋ͑Δ͜ͱ Ͱ৴པੑ͕Լ͕Δ͜ͱ͕͋Δ • ࣗಈεέʔϧ͢Δͱผͷ෦෼͕٧·Δ • ৑௕ԽػߏʹΑΓɺҰ؏ੑ͕ࣦΘΕΔ͜ͱ͕͋Δ • ܥશମͷਫ਼៛ͳཧղͱΤϥʔέʔεͷ໖ີͳચ͍ग़͕͠ඞཁ • ࠷ۙ͸ίϯϙʔωϯτ਺Λ૿΍͢ํ޲΁ٕज़͕ਐΜͰ͍Δͨ Ίɺύλʔϯ਺͕૿େ͠ਓ͕ཧղ͢Δ͜ͱ͕೉͘͠ͳ͍ͬͯΔ

Slide 47

Slide 47 text

΢ΣϒγεςϜͷෳࡶੑ

Slide 48

Slide 48 text

ෳࡶཁҼ͸ͳʹ͔ • ιϑτ΢ΣΞґଘؔ܎ͷෳࡶ͞ • ෼ࢄγεςϜͱͯ͠ͷෳࡶ͞ • ೖྗύλʔϯͷෳࡶ͞

Slide 49

Slide 49 text

ιϑτ΢ΣΞґଘؔ܎ͷෳࡶ͞ • ΢ΣϒγεςϜ͸ଟ਺ͷιϑτ΢ΣΞͷॏͶ߹ΘͤʹΑ Γߏ੒͞ΕΔ • ݴޠॲཧܥɺOSɺυϥΠόɺڞ༗ϥΠϒϥϦɺϛυϧ΢ΣΞɺ ΞϓϦέʔγϣϯϥΠϒϥϦɺΞϓϦέʔγϣϯ • ιϑτ΢ΣΞͷ૊Έ߹Θͤ໰୊ • όʔδϣϯޓ׵ɺϓϩτίϧޓ׵ͳͲΛؚΉ

Slide 50

Slide 50 text

෼ࢄγεςϜͷෳࡶ͞ • ҎԼͷ෼ࢄγεςϜͷલఏ͕͋Γɺ෺ཧ๏ଇʹ཯ͤΒΕΔ • ϊʔυ(ϋʔυ΢ΣΞ)͸յΕ͏Δ • ωοτϫʔΫ͸੾அɾ஗Ԇ͕͋ΓɺଳҬ͸༗ݶͰ͋Δ • ͜ΕΒͷΤϥʔ͔Βͷճ෮ػߏ͸ෳࡶʹͳΓ͕ͪ • TCPͷϑϩʔ੍ޚ΍࠶ૹ੍ޚͳͲ͕Α͍ྫ • σʔλϕʔεʹ͓͍ͯɺωοτϫʔΫ෼அ͞Εͯ΋Մ༻ੑͱҰ ؏ੑΛҡ࣋͢Δ͜ͱ͸೉͍͠ (CAPఆཧ)

Slide 51

Slide 51 text

ೖྗύλʔϯͷෳࡶ͞ • ਓؒɺݕࡧΫϩʔϥɺεύϚʔͳͲͷ׆ಈʹԠͯ͡γεςϜ΁ͷ ೖྗύλʔϯ͸ಥൃతʹมԽ͢Δ • ੍ޚ޻ֶͰ͍͏ͱ͜Ζͷ֎ཚ • γεςϜͷڍಈΛ༧ଌ͢Δʹ͸࠶ݱੑ͕ඞཁ • ͔͠͠ɺ΢ΣϒγεςϜʹର͢Δ͋ΔظؒͷೖྗύλʔϯΛ׬શ ʹ࠶ݱ͢Δ͜ͱ͸೉͍͠ • σʔλϕʔεͳͲͷอଘঢ়ଶΛ౰࣌ͷظؒʹ໭্ͨ͠Ͱɺೖྗ ύλʔϯΛྲྀ͠ࠐΉ

Slide 52

Slide 52 text

γεςϜͷෳࡶੑͷ ౓߹͍

Slide 53

Slide 53 text

ୈ7ষ ෳࡶੑͷఆٛͱ ଌఆج४

Slide 54

Slide 54 text

ෳࡶੑͷج४ • αΠζ • Τϯτϩϐʔ • ΞϧΰϦζϜ৘ใྔ • ࿦ཧਂ౓ • ೤ྗֶਂ౓ • ܭࢉೳྗ • ౷ܭతͳෳࡶੑ • ϑϥΫλϧ࣍ݩ • ֊૚౓

Slide 55

Slide 55 text

ෳࡶੑͷج४: αΠζ • ͸ͯͳͷγεςϜαΠζ͸ த~େن໛ఔ౓ • αʔϏε਺: 100+ (಺෦޲ؚ͚Ή) • ϩʔϧ਺: 1000+ • ϗετ਺: 1000+ • ϓϩηε/εϨου਺: 10000+ • SRE਺: 10ਓऑ • Google΍Amazon͸௒େن໛Ͱ͓ͦΒ͘100~1000ഒͷαΠζ

Slide 56

Slide 56 text

֊૚౓ - ϓϩάϥϜ࣮ߦ୯Ґ - 10೥લ • Ϩϕϧ1: ϓϩηε/εϨου • Ϩϕϧ2: αʔό (ෳ਺ͷϓϩηεͷू߹ମ) • Ϩϕϧ3: ϩʔϧ (Ϋϥελ΍ϩʔυόϥϯα഑Լͷαʔό܈) • Ϩϕϧ4: αʔϏε: (ϩʔϧ·ͨ͸ϚΠΫϩαʔϏεͷू߹ମ) • Ϩϕϧ5: ϓϥοτϑΥʔϜ: (ෳ਺ͷαʔϏεͷू߹ମ) • Ϩϕϧ6: ΢Σϒ

Slide 57

Slide 57 text

֊૚౓ - ϓϩάϥϜ࣮ߦ୯Ґ - ࠷ۙ • Ϩϕϧ1: ϓϩηε/εϨου • Ϩϕϧ2: ίϯςφ • Ϩϕϧ3: αʔό (ෳ਺ͷϓϩηεͷू߹ମ) • Ϩϕϧ4: ϩʔϧ (Ϋϥελ΍ϩʔυόϥϯα഑Լͷαʔό܈) • Ϩϕϧ5: ϚΠΫϩαʔϏε • Ϩϕϧ6: αʔϏε: (ϩʔϧ·ͨ͸ϚΠΫϩαʔϏεͷू߹ମ) • Ϩϕϧ7: ϓϥοτϑΥʔϜ: (ෳ਺ͷαʔϏεͷू߹ମ) • Ϩϕϧ8: ΢Σϒ

Slide 58

Slide 58 text

͋Δଆ໘Ͱ͸ ࠷ۙͷج൫ٕज़ͷมԽʹΑΓ ෳࡶԽ͍ͯ͠Δͱ͍͑Δ

Slide 59

Slide 59 text

ෳࡶ͕͞΋ͨΒ͢΋ͷ • γεςϜͷঢ়ଶ༧ଌ͕ࠔ೉ʹͳΓɺͦͷ݁Ռɺਓؒʹ൑அΛ ೔ʑٻΊΔΑ͏ʹͳΔ • ͜Ε͔Β࣮ࢪ͢Δมߋ͕҆શ͔Ͳ͏͔ΛอূͰ͖ͳ͍ɺ·ͨ ͸อূ͢ΔͨΊʹखؒΛ͔͚ͳ͚Ε͹͍͚ͳ͍ • ֎ཚͷ࠶ݱ͕೉͍ͨ͠ΊɺҰ૚ख͕͔͔ؒΔ • ͍ͭεέʔϧͷݶքʹ͋ͨΔ͔Θ͔Βͳ͍ • ݶքʹ͋ͨͬͯ΋ɺͲ͕͜ϘτϧωοΫ͔Θ͔Βͳ͍ • ΤϯδχΞͷܦݧΛجʹٕͨܳ͠Ͱղܾ͍ͯ͠Δ

Slide 60

Slide 60 text

ෳࡶ͞ʹ Ͳ͏ର߅͍ͯ͘͠ͷ͔

Slide 61

Slide 61 text

3.΢ΣϒγεςϜͷࣗ཯తӡ༻ Ξϓϩʔν

Slide 62

Slide 62 text

؍ଌ Observation

Slide 63

Slide 63 text

؍ଌͱ͸ • ΢ΣϒγεςϜͷʮաڈͱݱࡏʯͷঢ়گΛਓؒ/ίϯ ϐϡʔλ͕೺ѲͰ͖ΔΑ͏ʹ͢Δ • 20೥ۙ͘લ͔Βʮ؂ࢹʯΛ͢ΔͨΊͷπʔϧ͸͋Δ • Θ͔Βͳ͍΋ͷΛΘ͔ΔΑ͏ʹ͢Δ͜ͱ͸͢΂ͯ؍ଌ • ʮ؂ࢹ(ping)ɺ࣌ܥྻσʔλͷऩूɺϩάσʔλͷऩ ूɺߏ੒ཁૉͱཁૉͷͭͳ͕Γɺೖྗͷ௥੻ʯͳͲ

Slide 64

Slide 64 text

΢ΣϒγεςϜͷ͞·͟·ͳࢦඪ஋ • ݸʑͷϋʔυ΢ΣΞϦιʔεࢦඪ • CPUར༻཰ɺϝϞϦ࢖༻ྔɺωοτϫʔΫଳҬͳͲ • ݸʑͷϛυϧ΢ΣΞ/ΞϓϦέʔγϣϯϦιʔεࢦඪ • εϨου਺ɺΫΤϦ਺ɺ଴ͪߦྻͷ௕͞ͳͲ • ܥશମΛදݱ͢Δࢦඪ • αʔϏεશମͷԠ౴࣌ؒɺΤϥʔϨʔτͳͲ

Slide 65

Slide 65 text

Mackerel https://mackerel.io/

Slide 66

Slide 66 text

αʔόͷϝτϦοΫՄ ࢹԽ

Slide 67

Slide 67 text

؍ଌ݁ՌΛ΋ͱʹͨ͠φΠʔϒͳࣗ཯੍ޚ • Ϋϥ΢υͷ୆಄ʹΑΓαʔόͷੜ੒ͱഇغΛϓϩάϥϜԽ • ࢦඪ஋ͷมಈʹԠͯ͡αʔόͷݸ਺΍ੑೳΛࣗಈௐ੔ • ෆௐϓϩηε/αʔόͷ৽௠୅ँ • ύϥϝʔλ͸ΤϯδχΞͷܦݧΛݩʹ஋Λઃఆ • ݱࡏͰ͸ɺ͜ͷ͋ͨΓ͕΢ΣϒγεςϜͷݱ৔Ͱਁಁதͷٕ ज़Ϩϕϧ • ͨͩ͜͠ͷΑ͏ͳφΠʔϒͳࣗ཯੍ޚʹ͸໰୊͕ى͖΍͍͢

Slide 68

Slide 68 text

଴ͪߦྻཧ࿦Λར༻ͨࣗ͠཯੍ޚ • ฏۉԠ౴࣌ؒͱฏۉϦΫΤετ਺Λ؍ଌ͠ɺͦΕΒΛॲ ཧ͢ΔͨΊͷ߹ܭϓϩηε/αʔό਺ΛׂΓग़ࣗ͠ಈௐ ੔Ͱ͖Δ • ࢦඪΛ؍ଌ͚ͭͮ͠ɺ౸ண෼෍ͱॲཧ෼෍͔ΒඞཁͳϦ ιʔεΛܧଓతʹܭࢉ͠ɺௐ੔͠ଓ͚Δ #SFOEBO(SFHH l4ZTUFNT1FSGPSNBODF&OUFSQSJTFBOEUIF$MPVEz 1SFOUJDF)BMM Ϧτϧͷ๏ଇ: ҆ఆঢ়ଶʹ͋Δܥʹ͓͍ͯɺγεςϜ಺ͷฏۉϦΫΤε τ਺L͸ɺฏۉ౸ண཰λͱฏۉ଴ͪ࣌ؒͷੵʹ౳͍͠ (L=λW)

Slide 69

Slide 69 text

଴ͪߦྻཧ࿦ͷ໰୊ • ͦ΋ͦ΋ର৅΢ΣϒγεςϜ΁ͷ౸ண෼෍͕Θ͔Βͳ͍ • Ծఆ͢Δ෼෍ͷൣғ֎ͷɺ༧ଌͷͰ͖ͳ͍ಥൃతͳ֎ཚʹରԠ͠ ͮΒ͍ • Θ͔Γ΍͍͢֎ཚ͸ɺྫ͑͹Yahoo!๒ͳͲ • ֎ཚ͸ࣄۀػձͱͳΔ͜ͱ͕͋ΔͨΊɺ෼෍͔Β֎Εͨҟৗ஋Ͱ ΋ແࢹͰ͖ͳ͍ • ͨͩ͠ɺఆৗঢ়ଶͰͷ෼෍Λ༻͍ͯɺΩϟύγςΟϓϥϯχϯά ʹར༻͢Δ͜ͱ͸Ͱ͖Δ

Slide 70

Slide 70 text

ϑΟʔυόοΫ੍ޚ ཧ࿦

Slide 71

Slide 71 text

ϑΟʔυόοΫ੍ޚ͸ɺେن໛Ͱෳࡶ ͳγεςϜΛɺͨͱ͑γεςϜ͕֎ཚ ʹӨڹΛड͚Α͏ͱ΋ɺ͋Δ͍͸ɺݶ ΒΕͨࢿݯΛ༗ޮར༻ͭͭ͠ɺͦͷੑ ೳΛอͬͯಈ࡞ͤ͞ΔͨΊͷख๏Ͱ͢ɻ Philipp K. Janert ஶ, ʮΤϯδχΞͷͨΊͷϑΟʔυόοΫ੍ޚೖ໳ʯ,ΦϥΠϦʔɾδϟύϯ, 2014/07

Slide 72

Slide 72 text

ϑΟʔυόοΫ੍ޚͷ஫໨఺ • ੍ޚର৅͸ϒϥοΫϘοΫεͰ͋Γɺத਎͸ෆ໌ͰΑ͍ • SRE͕ΞϓϦέʔγϣϯͷத਎Λ஌ΒͣʹϞχλϦϯά݁ Ռ͚ͩΛΈͯো֐ରԠ͢Δ༷ࢠʹࣅ͍ͯΔ • ଴ͪߦྻཧ࿦Ͱ͸Ͱ͖ͳ͍μΠφϛΫεΛѻ͑Δ • ݱ࣮ͷ΢ΣϒγεςϜͰ͸ɺղੳతʹϞσϧΛಋग़͢Δͷ ͸೉͍ͨ͠Ίɺύϥϝʔλͷܾఆʹ͸ʮ࣮ݧʯʹΑΔܭଌ ͕ඞཁ [1]: େ࡚ ത೭, େن໛ωοτϫʔΫͷ ઃܭɾϞσϧԽɾ੍ޚ, http://www.ieice.org/~netsci/wp-content/uploads/2013/08/NetSci201308_Ohsaki.pdf [1]

Slide 73

Slide 73 text

ϑΟʔυόοΫ੍ޚͷಋೖΠϝʔδ • ੍ޚೖྗ: αʔόͷ୆਺ɺαʔόͷϝϞϦྔͳͲ • ੍ޚग़ྗ: ϨεϙϯελΠϜɺΤϥʔ਺ͳͲ • ੍ޚग़ྗΛ؂ࢹ͠ଓ͚ɺ໨ඪ஋͔Β֎ΕͨΒ੍ޚೖྗΛม ߋ͠ɺݩʹ໭͢Α͏ͳૢ࡞Λ͢Δ • ੍ޚೖྗʹରͯ͠఻ୡؔ਺Λద༻͠ɺ੍ޚग़ྗΛಘΔ • ఻ୡؔ਺ͷಉఆ΍νϡʔχϯά͸ɺ࣮γεςϜͰԠ౴ΛΈΔ ඞཁ͕͋Δ

Slide 74

Slide 74 text

No content

Slide 75

Slide 75 text

Real World΁ͷ ੍ޚཧ࿦ͷಋೖʹ͸ ࣮Ԡ౴ͷσʔλ͕ඞཁ

Slide 76

Slide 76 text

࣮ݧ Experiment

Slide 77

Slide 77 text

੍ޚϞσϧͷύϥϝʔλਪఆ • ࣮γεςϜͷ؍ଌ݁ՌʹΑΓɺ੍ޚثͷؔ਺ͱύϥϝʔλ Λਪఆ͢Δ • ҟৗݕ஌ͷͨΊͷ֬཰෼෍ͷύϥϝʔλΛਪఆ͢ΔͨΊͷ ֶशͳͲ΋࣮ݧʹؚΉ • ͨͩ͠ɺྫ͑͹1୆͋ͨΓͷαʔόͷݶքੑೳͱ͍͏ͷ͸ ࣮ࡍʹݶք·ͰෛՙΛ͔͚ͳ͍ͱΘ͔Βͳ͍͜ͱ͕ଟ͍ • ૉ๿ͳൃ૝ͩͱɺखಈͰ࣮ݧ͢Δ͜ͱʹͳΔ

Slide 78

Slide 78 text

࣮ݧΛࣗಈԽ͍ͨ͠

Slide 79

Slide 79 text

࣮ݧͷࣗಈԽ • ख࡞ۀʹΑΔ࣮ݧ͸ਓख͕ඞཁͰ݁ہ௕ଓ͖͠ͳ͍ • γεςϜʹ͸೔ʑมߋ͕Ճ͑ΒΕΔͨΊɺ࣮ݧͷܧଓԽ ͕ඞཁ • ࣮ݧΛࣗಈԽ͍ͨ͠ • ෼ࢄγεςϜͷࣗಈ࣮ݧͷ֓೦ͱͯ͠Netﬂix͕ఏএ͢Δ Chaos Engineering͕͋Δ

Slide 80

Slide 80 text

“PRINCIPLES OF CHAOS ENGINEERING”, http://principlesofchaos.org/ Chaos Engineering is the discipline of experimenting on a distributed system in order to build conﬁdence in the system’s capability to withstand turbulent conditions in production.

Slide 81

Slide 81 text

Θ͟ͱҟৗΛى͜͢ൃ૝ • αʔόμ΢ϯͳͲΘ͟ͱҟৗΛى͜͢͜ͱͰ࣮ݧ͢Δ • ͔͠͠ɺຊ൪؀ڥͰҟৗΛىͨ͜͠Γɺݶք·ͰෛՙΛ͔͚Δ ͷ͸ෆ҆ • Ϋϥ΢υ΍ίϯςφͳͲݶΓͳ͘ຊ൪ʹ͍ۙ؀ڥΛΦϯσϚϯ υʹߏங͢Δٕज़͕ൃୡ͖͍ͯͯ͠Δ • ຊ൪؀ڥͷෛՙΛ࠶ݱ͢Δͷ͸·ͩ೉͍͕͠… • ࣮ݧ؀ڥΛߴ଎ʹ࡞੒͠ഇغ͢Δ͜ͱͰ҆શʹ࣮ݧΛࣗಈԽ͢Δ

Slide 82

Slide 82 text

੍ޚҎ֎ͷखಈ࣮ݧ

Slide 83

Slide 83 text

੍ޚҎ֎ͷ࣮ݧ • ಈ࡞ςετ • ෛՙςετ • Τϥʔςετ • ϋʔυ΢ΣΞނো΍ωοτϫʔΫ஗Ԇͷ૿େͳͲ • ύϥϝʔλνϡʔχϯά • OSͳͲͷύϥϝʔλ(όοϑΝαΠζͳͲ)νϡʔχϯά • ͜ΕΒʹ͍ͭͯ΋ࣗಈԽ͢Δ

Slide 84

Slide 84 text

؍ଌͱ࣮ݧ

Slide 85

Slide 85 text

؍࡯ͱ࣮ݧͷࣗಈԽ͸ ۙ୅Պֶͷख๏ͷࣗಈԽ

Slide 86

Slide 86 text

Ծઆԋ៷๏ • (1) ؍࡯ʹج͍ͮͨ໰୊ͷൃݟ (؍ଌ) • (2) ໰୊Λղܾ͢ΔԾઆͷఏى • (3) Ծઆ͔Βͷςετ໋୊ͷԋ៷ • (4) ςετ໋୊ͷ࣮ݧతݕূ·ͨ͸൓ূ (࣮ݧ) • (5) ςετͷ݁Ռʹجͮ͘Ծઆͷड༰ɺमਖ਼·ͨ͸์غ ໺ՈܒҰஶʮՊֶ఩ֶ΁ͷট଴ʯͪ͘·ֶܳจݿ 2015೥

Slide 87

Slide 87 text

Ծઆԋ៷๏ͷϧʔϓΛߴ଎ʹճ͠ มԽʹదԠ͠ଓ͚ΔγεςϜ

Slide 88

Slide 88 text

Experimentable Infrastructure

Slide 89

Slide 89 text

4. ࣗ཯ӡ༻ͷนͱ΢ΣϒαΠΤ ϯε

Slide 90

Slide 90 text

ࣗ཯ӡ༻ͷͨΊͷେ͖ͳน • ϋʔυ΢ΣΞϦιʔε੍໿ • ༧Ί༻ҙͨ͠ϦιʔεϓʔϧͰ͞͹͚ΔҎ্ͷෛՙʹ͸଱͑ΒΕ ͳ͍ • Ϋϥ΢υʹ΋্ݶ͸ଘࡏ͢Δ • ֎ཚͷେ͖ͳมԽΛ༧૝Ͱ͖ͳ͍ • αʔόͷ૿ՃͳͲʹ͸σΟϨΠ͕ଘࡏ͢ΔͨΊɺϑΟʔυόοΫ ͕ؒʹ߹Θͳ͍έʔε΋͋Γ͑Δ • ΢ΣϒαΠΤϯεͷݚڀΛϑΟʔυϑΥϫʔυ੍ޚʹ࢖͑Δ͔΋

Slide 91

Slide 91 text

ࣗൃతʹൃల͢ΔαʔϏεͷಛ௃Λଊ͑ɺྫ͑͹ɺ Web αʔϏε͕ࠓޙൃల͍ͯ͘͠ͷ͔ɺݩؾΛ ͳ͍ͯ͘͘͠ͷ͔ɺͦ͏ͨ͠ঢ়ଶ༧ଌΛ໨ࢦ͠ɺ ࣗ཯తͳਓ޻γεςϜͷμΠφϛΫεΛଊ͑Δී วతͳํ๏࿦Λͭ͘ΓɺࣗવՊֶͱͯ͠ͷਓ޻γ εςϜݱ৅ͱ͍͏෼໺ͷཱ֬Λ໨ࢦ͍ͯ͠Δɻ 106 ਓ ޻ ஌ ೳɹ31 ר 1 ߸ʢ2016 ೥ 1 ݄ʣʮ΢ΣϒαΠΤϯεݚڀձʢSIG-WebSciʣʯ ൃ଍

Slide 92

Slide 92 text

৴པੑΛ੍໿৚݅ͱͯ͠ අ༻Λ࠷খʹ͢Δ࠷దԽ໰୊ ※අ༻ = ਓ݅අ + αʔόɾωοτϫʔΫඅ༻

Slide 93

Slide 93 text

ࣗ཯ӡ༻ • ͜͜·Ͱͷʮࣗ཯ʯͷఆٛ͸ʮࣗಈम෮ʯʮࣗ཯ӡ༻ʯ • ༩͑ΒΕ੍ͨ໿৚݅=৴པੑ Λຬͨ͢Α͏ʹࣗ཯ಈ࡞͢Δ ͜ͱΛ໨ࢦ͍ͯ͠Δ • ৴པੑΛࣗ཯తʹຬͨͤΕ͹ɺඅ༻ͷ͏ͪਓ݅අ͸͋Δఔ ౓࡟ݮͰ͖Δ • ৴པੑͷ৚݅ઃఆɺΞʔΩςΫνϟͷܾఆɺιϑτ΢ΣΞ ͷޮ཰ԽͳͲ͸Ҏલͱͯ͠ਓͷ࢓ࣄ

Slide 94

Slide 94 text

ࣗ཯։ൃ

Slide 95

Slide 95 text

ࣗ཯։ൃ • ࣗ཯తʹඅ༻Λ࠷খԽ͢ΔγεςϜ • ਐԽɾదԠͷ֓೦͕ඞཁ • ෼ࢄγεςϜΞʔΩςΫνϟͷઃܭɾվળ • ιϑτ΢ΣΞޮ཰վળͷࣗ཯Խ • ref. ιϑτ΢ΣΞਐԽͷݚڀͳͲ

Slide 96

Slide 96 text

΢ΣϒγεςϜ͸ෳࡶͰ͋Δ͕ ίϯϐϡʔλ͚ͩͰ͸ࣗ཯ͨ͠ܥͰ͸ͳ͍ ΢ΣϒγεςϜͱ͍͏ਓ޻෺Λ ࣗવͷΑ͏ʹৼΔ෣Θͤ ਓؒΛӡ༻͔Βղ์͍ͨ͠

Slide 97

Slide 97 text

͜͜·Ͱ͸ ޻ֶతϞνϕʔγϣϯ

Slide 98

Slide 98 text

͍͔ͭԕ͍ະདྷͰ ӡ༻͔Βղ์͞ΕͨΒ ԿΛ΍Δͷ͔

Slide 99

Slide 99 text

༡ΜͰ฻Β͢

Slide 100

Slide 100 text

༡ΜͰ฻Β͢͜ͱʹ ͦΜͳʹڵຯ͕ͳ͍

Slide 101

Slide 101 text

ʮγεςϜʯ͕޷͖

Slide 102

Slide 102 text

ਓͷखΛհͣ͞ʹಈ͖ଓ͚Δ ΢ΣϒγεςϜΛ୳ڀ͢Δ͜ͱͰ ෳࡶͳܥʹର͢Δ౷Ұతͳ๏ଇΛൃݟ͠ ࣗવՊֶ΁ߩݙͰ͖Δ͜ͱ͸ͳ͍͔

Slide 103

Slide 103 text

ωοτϫʔΫͷٕज़֊૚ΛؚΉ Webͷଘࡏͦͷ΋ͷ Λ৽͍͠ʮࣗવݱ৅ʯͱͯ͠ଊ͑ɺྫ͑͹ɺͦͷʮੜ ଶܥʯͱͯ͠ͷߏ଄Λ໌Β͔ʹ͢Δ͜ͱͰɺීวతͳ μΠφϛΫε΍ύλʔϯΛ໌Β͔ʹ͠ɺैདྷͷࣗવՊ ֶɾਓจՊֶͷߟ͑Λൃలͤ͞Δ͜ͱΛ໨ࢦ͍ͯ͠ Δɻ 106 ਓ ޻ ஌ ೳɹ31 ר 1 ߸ʢ2016 ೥ 1 ݄ʣʮ΢ΣϒαΠΤϯεݚڀձʢSIG-WebSciʣʯ ൃ଍

Slide 104

Slide 104 text

5. ·ͱΊ

Slide 105

Slide 105 text

·ͱΊ • ໨ඪ͸γεςϜͷӡ༻͔Βਓ͕ؒղ์͞ΕΔ͜ͱ • Ϋϥ΢υͷొ৔ͳͲͰӡ༻ʮࣗಈԽʯ͕ਐΜͰ͖͕ͨɺ ʮࣗ཯Խʯʹ͍ͭͯ͸·ͩ·ͩ͜Ε͔Β • ࣗ཯ӡ༻ʹ޲͚ͯɺۙ୅ࣗવՊֶͷํ๏࿦Λώϯτʹ͠ ͨExperimentable Infrastructureߏ૝Λ঺հ • ࣗ཯ӡ༻ͷେ͖ͳนͱ΢ΣϒαΠΤϯεͷՄೳੑ

Slide 106

Slide 106 text

͓·͚

Slide 107

Slide 107 text

΢ΣϒγεςϜΞʔΩςΫνϟݚڀձ • ೔ຊʹ͸ίϯϐϡʔλωοτϫʔΫͷݚڀձ͸ͨ͘͞Μ͋Δ • ΢ΣϒγεςϜͷΞʔΩςΫνϟ΍ϦΞϧϫʔϧυͷӡ༻·Ͱؚ Ίͨݚڀձ͕͋·Γͳ͍ • ࠷΋͍ۙͷ͸৘ใॲཧֶձIOTݚڀձ • ւ֎ͩͱUSENIXͷLISA΍SREconͳͲ • ͦ͜ͰݚڀձΛ্ཱͪ͛Α͏ͱ͍ͯ͠Δ => 12/23@ژ౎ • ϋογϡλά #wsaݚ

Slide 108

Slide 108 text

΢ΣϒΦϖϨʔγϣϯ͸ٕܳ Ͱ͋ΓՊֶͰ͸ͳ͍ John Allspaw,Jesse Robbinsฤ, ֯ ੐య༁ ΢ΣϒΦϖϨʔγϣϯʔʔαΠτӡ༻؅ཧͷ࣮ફςΫχοΫ, ΦϥΠϦʔɾδϟύϯ, 2011/05

Slide 109

Slide 109 text

ٕ͔ܳΒՊֶ΁