ゼロから始めるシステム障害対応フロー

Slide 1

Slide 1 text

θϩ͔Β࢝ΊΔ γεςϜো֐ରԠϑϩʔ YOSHITRO - YOYOɹ2023/08/06 w

Slide 2

Slide 2 text

ΤϯδχΞલ ೥݄d   ɹɹɹɹɹɹ   ೥݄d     ೥݄d yoshitaro !ZPTIJUBSPZPZP   ༀہళ௕ɾྟচ޻ֶٕ࢜ɾͤͲΓɾεΫʔϧߨࢣFUD   େࡕͷडୗ։ൃاۀ   େࡕͷࣗࣾ։ൃͷ4&4෦໳   ஍ํۜߦͷά ϧʔϓձࣾͰࣗࣾ։ൃ   ٕज़ϒϩάେࡕͱژ౎Ͱ*5ษڧձओ࠵ झຯ   ϜΤλΠɾμϯεɾԻָɾόΠΫɾөըɾອըখઆɾྉཧ ͦͷଞ

Slide 3

Slide 3 text

Agenda 01. ·ͣ͸ڭՊॻ௨Γʹ 02. ࣮ӡ༻Ͱॏཁͳ͜ͱ͸ΞδϟΠϧ   03. ֤෦ॺͱͷίϥϘϨʔγϣϯ͸ඞਢ 04. ΦϒβʔόϏϦςΟͷॏཁੑ 05. ো֐ରԠೳྗΞηεϝϯτ

Slide 4

Slide 4 text

01. ·ͣ͸ڭՊॻ௨Γʹ ઌਓͷ஌ܙΛ࢖͏ ϕετϓϥΫςΟεͷ໛฿

Slide 5

Slide 5 text

ૉ੖Β໊͍͠ஶͨͪ ͪͳΈʹࠨ͔ΒॱʹಡΉͱ͍͍ײ͡Ͱͨ͠

Slide 6

Slide 6 text

͜ΕΒΛݩʹҎԼΛ࡞੒ 1. ొ৔ਓ෺ͱ໾ׂ 2. ো֐ରԠϑϩʔ 3. γεςϜো֐ݕ஌ݩͷચ͍ग़͠ 4. γεςϜো֐ͷఆٛ 5. γεςϜো֐Ϩϕϧͷఆٛ 6. ࢖༻πʔϧͱͦͷӡ༻ํ๏

Slide 7

Slide 7 text

1. ొ৔ਓ෺ͱ໾ׂ

Slide 8

Slide 8 text

2. ো֐ରԠϑϩʔɹ3. γεςϜো֐ݕ஌ݩͷચ͍ग़͠

Slide 9

Slide 9 text

4. γεςϜো֐ͷఆٛ

Slide 10

Slide 10 text

5. γεςϜো֐Ϩϕϧͷఆٛ

Slide 11

Slide 11 text

6. ࢖༻πʔϧͱͦͷӡ༻ํ๏ 1. Ξϥʔτͷݕ஌πʔϧ΍ൃใઌ   → Azure Application InsightsɾDatadogɺ DiscordɾTeamsɾϝʔϧ 2. Discord಺Ͱͷ֤छΞϥʔτνϟϯωϧ࡞੒   → ֎෦γεςϜ༝དྷɾϢʔβใࠂɾΞϥʔτൃใɾνʔϜ಺ݕ஌ͳͲ 3. φϨοδ஝ੵͷͨΊͷυΩϡϝϯτ   → ֤ো֐Λه࿥͢ΔςϯϓϨʔτͷ࡞੒

Slide 12

Slide 12 text

02. ֤෦ॺͱͷίϥϘϨʔγϣϯ͸ඞਢ ͍ΖΜͳཱ৔͔Βδϟοδͯ͠΋Β͏ ։ൃνʔϜ͚ͩͰ͸࡞Γ͖Εͳ͍

Slide 13

Slide 13 text

৭Μͳॴ͔ΒͷϑΟʔυόοΫ

Slide 14

Slide 14 text

ͩΕʹฉ͍ͨͷ͔ʁ 1. ΠϯϑϥνʔϜɾ௚ଐͷ্࢘ 2. ։ൃνʔϜɾ௚ଐͷ্࢘ 3. εςʔΫϗϧμʔɾ௚ଐͷ্࢘ 4. ࣾ௕ɾ໾һෳ਺໊ 5. ࣾ಺ςετ໿3िؒɺϝϯόʔ͔Β   → શͯͷো֐ൃੜ࣌ͷରԠʹࢀՃ͠ɺTry&Error ͠·͘Δ 6. ࢀՃऀʹώΞϦϯάɺϑΝγϦςʔγϣϯͰٵ্͍͛ 7. ͍͔ͭ͘܁Γฦ͠ɺमਖ਼Λߦ͏

Slide 15

Slide 15 text

03. ࣮ӡ༻Ͱॏཁͳ͜ͱ͸ΞδϟΠϧ όϦΤʔγϣϯ͸Ͱ͖ΔݶΓચ͍ग़͢ ͕ɺৄࡉ͸٧Ί͗͢ͳ͍ɻ׬શͰ͋Δඞཁ͸ͳ͍͠ग़དྷ΍͠ͳ͍

Slide 16

Slide 16 text

ࣾ಺ςετͷ݁Ռ ౰ॳ૝ఆ͍ͯͨ͠ӡ༻ํ๏͔Βେ͖͘มԽ

Slide 17

Slide 17 text

͓ർΕ༷Ͱ͢ɻ ࣾ಺ςετதͷγεςϜো֐࣌ରԠʹ͓͚Δɺ։ൃνʔϜͷঢ়گͱॻ؆ʹ͍ͭ ͯڞ༗͍͖ͤͯͨͩ͞·͢ɻ ঢ়گɿ ࣄલʹ࡞੒ͨ͠ߦһςετ༻ͷো֐࣌ӡ༻ϑϩʔͰରԠΛߦͳͬͨ݁Ռɺ໰୊ ఺վળ఺͕ଓग़͠·ͨ͠ɻ ౎౓ɺվળ఺΍νʔϜ͔ΒͷϑΟʔυόοΫΛద༻͠ɺ࡞੒ͨ͠ো֐࣌ӡ༻ϑ ϩʔΛݱ࣮ʹϑΟοτ͍ͤͯ͘͞޻ఔΛߦͳ͍ͬͯ·͢ɻ໪࿦ɺฒߦͯ͠γε ςϜো֐ղফ࡞ۀ΋࣮ࢪ͍ͯ͠·͢ɻ ॻ؆ɿ ໰୊఺վળ఺͕ଓग़͢Δ͜ͱ͸౰વͳͷͰɺॊೈʹϑΟʔυόοΫΛऔΓೖ Εɺࢼߦճ਺ΛॏͶͳ͕Β࠷ળͷܗʹ͚͍͚ۙͮͯ͹͍͍ͱߟ͍͑ͯ·͢ɻຊ ൪ӡ༻Λݟਾ͑ɺ໰୊ɾ՝୊ʹର͢Δײ౓Λߴ͘͠ɺϢʔβମݧΛଛͶͳ͍Ξ ϓϦӡ༻ମ੍࣮ݱʹܨ͛ͳ͚Ε͹ͱײ͍ͯ͡·͢ɻ ࣾ಺ςετ࣮ࢪҰ೔໨ɺࢲ͕ॻ͍ͨใࠂ

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

ϑΟʔυόοΫ͸ৗʹऔΓʹߦ͘ ࣌ؒ࣠తͳई౓্Ͱৗʹଘࡏͤ͞Δ͜ͱͰࠩҟ͕ු͖ூΓʹͳΔ

Slide 20

Slide 20 text

ಉ͡ਓ͕͋Δஈ֊ͰਅٯɾҟͳΔҙݟΛ ϑΟʔυόοΫ͢Δ͜ͱ͕͋Δɻͦ͜ʹෲམͪͰ͖ͳ͍৔߹ɺ ͦͷٙ໰ʹؔͯ͠͸࣭໰ɾٞ࿦͢ΔՁ஋͕͋Δ

Slide 21

Slide 21 text

ো֐ରԠϑϩʔ΋େ͖͘มߋ

Slide 22

Slide 22 text

04. ΦϒβʔόϏϦςΟͷॏཁੑ ϢʔβମݧΛॏࢹ͢ΔͳΒΦϒβʔόϏϦςΟ ϞχλϦϯά͚ͩͰ͸ෆे෼

Slide 23

Slide 23 text

Monitoringʢ؂ࢹʣͱ͸ > ͋ΔγεςϜ΍ͦͷγεςϜͷίϯϙʔωϯτ ͷৼΔ෣͍΍ग़ྗΛ؍࡯͠νΣοΫ͠ଓ͚Δߦҝ > ؂ࢹͱ͸໾ׂͰ͸ͳ͘εΩϧͰ͋ΓɺνʔϜ಺ ͷશһ͕͋Δఔ౓ͷϨϕϧʹࢸ͍ͬͯΔ΂͖Ͱ ͢ɻ ιϑτ΢ΣΞΤϯδχΞ͸ΞϓϦέʔγϣϯʹͭ ͍ͯ୭ΑΓ΋ৄ͍͠ͷͰɺૉ੖Β͍͠ΞϓϦέʔ γϣϯ؂ࢹͷ࢓૊ΈΛσβΠϯ͢Δʹ͸࠷ߴͷ৔ ॴʹ͍ΔͷͰ͢ɻ

Slide 24

Slide 24 text

Monitoringʢ؂ࢹʣͱ͸ • ج൫తͳ؍఺͔ΒγεςϜͷҟৗΛ஌ΔͨΊͷ࢓૊Έ • CPUɺϝϞϦͷ࢖༻཰΍ωοτϫʔΫૹड৴ • ֎෦γεςϜ΍Ϋϥ΢υϦιʔε΁ͷϔϧενΣοΫ • ᮢ஋Λ௒͑ͨ΋ͷΛΞϥʔτ • ໰୊͕͋Ε͹ରԠ͢Δɺࣄޙత͔ͭड͚਎

Slide 25

Slide 25 text

• ݱࡏͷγεςϜͷෳࡶ౓ɺ৽ػೳϦϦʔεස౓͸աڈͱ͸ൺֱʹ͸ͳΒͳ͍ • ج൫؂ࢹ͚ͩͰ͸αʔϏεͷঢ়ଶΛ೺ѲཧղͰ͖ͳ͍ • ϢʔβମݧͷϦΞϧλΠϜ೺Ѳ͕ग़དྷͳ͍ • ͍ͭͲ͜ͰԿ͕ى͖͍ͯΔ͔೺ѲͰ͖Δମ੍ߏங͕ඞཁ   → Մ༻ੑɾύϑΥʔϚϯεͷՄࢹԽ͕Ͱ͖ͳ͍ • શίϯϙʔωϯτͷՔಇঢ়گΛϦΞϧλΠϜऩू • σʔλͷؔ࿈෇͚ͱ·ͱ·Γʹҙຯ෇͚ • ͋Δ୯ҐͰਤ΍άϥϑͰՄࢹԽ͠ɺγεςϜશମͷঢ়گΛ೺Ѳ Monitoring ͚ͩͰ͸γεςϜো֐๷ࢭɺ҆ఆՔಇ࣮ݱ͸Ͱ͖ͳ͍

Slide 26

Slide 26 text

Monitoring ͚ͩͰ͸γεςϜো֐๷ࢭɺ҆ఆՔಇ࣮ݱ͸Ͱ͖ͳ͍ ͦΕ͕ ObservabilityʢՄ؍ଌੑʣ • ݱࡏͷγεςϜͷෳࡶ౓ɺ৽ػೳϦϦʔεස౓͸աڈͱ͸ൺֱʹ͸ͳΒͳ͍ • ج൫؂ࢹ͚ͩͰ͸αʔϏεͷঢ়ଶΛ೺ѲཧղͰ͖ͳ͍ • ϢʔβମݧͷϦΞϧλΠϜ೺Ѳ͕ग़དྷͳ͍ • ͍ͭͲ͜ͰԿ͕ى͖͍ͯΔ͔೺ѲͰ͖Δମ੍ߏங͕ඞཁ   → Մ༻ੑɾύϑΥʔϚϯεͷՄࢹԽ͕Ͱ͖ͳ͍ • શίϯϙʔωϯτͷՔಇঢ়گΛϦΞϧλΠϜऩू • σʔλͷؔ࿈෇͚ͱ·ͱ·Γʹҙຯ෇͚ • ͋Δ୯ҐͰਤ΍άϥϑͰՄࢹԽ͠ɺγεςϜશମͷঢ়گΛ೺Ѳ

Slide 27

Slide 27 text

Observability ͸ Monitoring Λแؚ͢Δ Observability Monitoring Application Performance Management Observability Monitoring 1. Ͳ͏ಈ͍͍ͯΔͷ͔ 2. ج൫ɺΞϓϦ૚΁ͷΞϓϩʔνΛϕʔεʹෳ਺γεςϜ ΛϦΞϧλΠϜղੳɺཧղ 3. ؍ଌର৅͸શͯɺৗʹঢ়ଶΛ೺Ѳ͢Δ 4. ෳ਺γεςϜͷ౷ҰతͳՄࢹԽʹΑΓɺҟৗΛΩϟον   ͍ͭ΋ͱҟͳΔঢ়ଶΛࣗಈͰೝࣝ͢Δ 1. ಈ͍͍ͯΔͷ͔ಈ͍͍ͯͳ͍ͷ͔ 2. ج൫తͳ؍ଌɺࣄޙత 3. ର৅ΛܾΊͯʢݶఆʣ؍ଌɺ໰୊Λݟམͱ͢   ݸʑͷσʔλ͸ಠཱ͍ͯ͠Δ 4. ᮢ஋Λ௒͑Ξϥʔτ͕ɺൃใͯ͠ॳΊͯߦಈ ࢀߟɿCNCF

Slide 28

Slide 28 text

Մ؍ଌੑ৴߸~ Observability Signal~ Metrics Traces • ౷ܭܭଌɺҰఆظؒʹΘͨΔঢ়ଶͷूܭՄೳͳσʔλͷ਺஋දݱ • γεςϜͷঢ়ଶͷಛఆ࣌఺ͷ؍࡯ • ୹ظతʹ͸ᮢ஋؂ࢹ΍ҟৗಈ࡞ͷݕग़ • ௕ظతʹ͸܏޲෼ੳ΍࠶ൃ๷ࢭͷͨΊͷ෼ੳ৘ใ • Կ͔͕͓͔͍͜͠ͱΛ͕ࣔ͢ৄࡉ͸ෆ໌ͳ͜ͱ͕ଟ͍ Logs • ϦΫΤετΛτϦΨʔͱ͠ɺϨεϙϯε·ͰͷҰ࿈ͷྲྀΕΛՄࢹԽ   ͍ͭɺͲͷॲཧ͕ݺ͹ΕɺͲͷ͘Β͍͕͔͔͔࣌ؒͬͨʁ • ෳ਺ίϯϙʔωϯτʹ·͕ͨͬͨτϨʔεʢτϨʔεIDʣ • ҟৗՕॴͷಛఆ͸Մೳ͕ͩৄࡉ͸೺ѲͰ͖ͳ͍ • ಛఆΠϕϯτͷه࿥ͱग़ྗɺMessageɾStackTrace • ࠷΋ྔ͕ଟ͘ɺՁ஋΋࣭΋ଟ༷ʹͳΓಘΔ • ༰ྔṧഭͷϦεΫɺࢹೝੑͱඅ༻͕τϨʔυΦϑͷ৔߹΋ • ҟৗՕॴͷৄࡉΛ஌Δ͜ͱ͕Մೳ • ΞϓϦέʔγϣϯ ϓϩϑΝΠϧ • Ϋϥογϡ μϯϓ ଞͷ̎ͭͷ৽͍͠γάφϧ ग़యɿCNCF

Slide 29

Slide 29 text

Մ؍ଌੑ৴߸~ Observability Signal~ ग़యɿKubernetes & Observability ೖ໳

Slide 30

Slide 30 text

UXϞχλϦϯάπʔϧ • ϝτϦΫεͳͲͷج൫؍఺ • τϨʔε΍ϩάͷόοΫΤϯυྖҬͷΞϓϦ૚؍఺ • ͜ΕʹՃ͑ɺϑϩϯτΤϯυྖҬͷ؍఺΋ඞཁ • ࣮ࡍͷϢʔβମݧ΋ϦΞϧλΠϜʹ೺Ѳ͍ͨ͠

Slide 31

Slide 31 text

UXϞχλϦϯάπʔϧ ग़యɿϞόΠϧΞϓϦͷΦϒβʔόϏϦςΟΛ޲্ͤ͞ΔϓϥΫςΟε

Slide 32

Slide 32 text

05. ো֐ରԠೳྗΞηεϝϯτ νʔϜͷো֐ରԠೳྗΛධՁ͢ΔͨΊͷ߲໨ ݱঢ়औΓ૊Ή΂͖΋ͷͷਫ਼ࠪ

Slide 33

Slide 33 text

ো֐ରԠೳྗϨϕϧ 1. Level 1   → ૊৫ͰରԠͤͣݸਓཔΈɻߦ͖౰ͨΓ͹ͬͨΓͰվળ΋ߦΘΕͳ͍ 2. Level 2   → νʔϜͰ҆ఆରԠͰ͖͓ͯΓɺ඼࣭΋͋Δఔ౓୲อɻͨͩ͠ɺϚϯύϫʔʹΑΔ ෦෼΋ଟࣗ͘ಈԽ޻ఔ͕͘͢ͳ͍ͨΊɺҡ࣋؅ཧίετ΋ߴ͍ͨΊ௠෗Խ͠΍͢ ͍ɻγεςϜมԽʹ௥ਵ͢Δͷ͕೉͍͠ɻ 3. Level 3   → ֤୲౰ऀ͕ߴ౓ʹ৘ใత࿈݁͠ɺҙࢥܾఆ͕ਝ଎ɻυΩϡϝϯτͳͲͷมߋ؅ཧ ϓϩηε͸ࣗಈԽΛલఏͱ͠ɺվળ࡞ۀ΍ͦͷଞͷ࡞ۀ͕ख࡞ۀΛഉࣗ͠ಈԽʹ޲ ͍͍ͯΔɻ

Slide 34

Slide 34 text

Ϩϕϧ ݱঢ় ՝୊ ਓͷಈ͖ํʢ໾ׂʣ 2 ICத৺ͷ૊৫తରԠ ֤໾ׂͷ९कɾ໨తୡ੒ҙࣝ ֤୲౰ऀͷશମঢ়گͷ೺Ѳ େن໛ো֐࣌ͷରԠ଎౓௿Լ΍ࠞཚରࡦ ৘ใڞ༗ͷҝͷใࠂ࡞ۀίετ௿Լ ೝࣝᴥᴪ๷ࢭˠ৘ใͷݟ͑ΔԽ ϓϩηε 2 ରԠϑϩʔɺ҆ఆతରԠɺ ݪҼௐࠪɾ෮چରԠͷԁ׈Խ ϊ΢ϋ΢ͷ஝ੵʢίϯϑϧʣ ৘ใڞ༗ͷࣗಈԽ ใࠂස౓ͷݮগ ϓογϡܕ͔Βϓϧܕ΁ υΩϡϝϯτ 1 ࢓༷ॻɾઃܭॻͳ͠ มߋ؅ཧϓϩηε΋ͳ͠ ʢݟ࣮ͯફͰ͖Δͷ͔ʁʣ ࠨهʹՃ͑ɺཻ౓ͷઃఆ ௠෗Խ๷ࢭ੍౓ɾਖ਼֬ੑͱ৴པੑͷ୲อ (Ϩϕϧ3ɿߋ৽ର৅બఆɾϝϯςࣗಈԽʣ πʔϧ΍؀ڥ 2 Application Insight→Data dog ద੾ͳ؂ࢹ΍௨஌ɾϊΠζ͕গͳ͍ ൚༻ίϚϯυ੔උɾϊ΢ϋ΢ڞ༗ ࣗಈ෮چ ҙࢥܾఆɾ৘ใڞ༗πʔϧ ௨஌ϊΠζͷ࡟ݮʢઃܭݟ௚͠ʣ ߃ٱରࡦ଎౓ 2.5 ࣗಈςετʢΫϥε୯Ґʣ σάϨ๷ࢭɾCI/CD E2E࣮૷ ςετίʔυ඼࣭୲อ ϩδοΫ΍ৼΔ෣͍ʹண໨͢Δ վળɾ༧๷αΠΫϧ 1 ߦ͍ͬͯͳ͍ ֎ѹ͔ΒͰ͸ͳ͘νʔϜओಋͰߦ͏ ඇػೳཁ݅ɾΞʔΩςΫνϟʹ΋౿ΈࠐΉ ΦϒβʔόϏϦςΟʹΑΔࣄલΩϟον ڭҭɾ܇࿅ 1 ߦ͍ͬͯͳ͍ ֤໾ׂʹ͍ͭͯͷֶशɺखॱॻͷ࣮ࢪ܇࿅ ଞ૊৫ࣄྫ͔Β΋ֶशɺະ஌ɾඇఆܕత܇࿅ ʢϨϕϧ̏ɿΧΦεΤϯδχΞϦϯάɺϏδωεΠϯύΫτ Λߟྀͨ͠ߦಈنൣͱ൑அج४ͷཱ֬ʣ ஌ݟͷภΓ 1.5 ো֐ࣄྫ͸υΩϡϝϯτԽ ϖΞϓϩ

Slide 35

Slide 35 text

ো֐ରԠೳྗϨϕϧ 1. Level 1   → ૊৫ͰରԠͤͣݸਓཔΈɻߦ͖౰ͨΓ͹ͬͨΓͰվળ΋ߦΘΕͳ͍ 2. Level 2   → νʔϜͰ҆ఆରԠͰ͖͓ͯΓɺ඼࣭΋͋Δఔ౓୲อɻͨͩ͠ɺϚϯύϫʔʹΑΔ෦෼΋ଟࣗ͘ಈԽ޻ఔ͕͘͢ͳ͍ͨ Ίɺҡ࣋؅ཧίετ΋ߴ͍ͨΊ௠෗Խ͠΍͍͢ɻγεςϜมԽʹ௥ਵ͢Δͷ͕೉͍͠ɻ 3. Level 3   → ֤୲౰ऀ͕ߴ౓ʹ৘ใత࿈݁͠ɺҙࢥܾఆ͕ਝ଎ɻυΩϡϝϯτͳͲͷมߋ؅ཧϓϩηε͸ࣗಈԽΛલఏͱ͠ɺվળ࡞ ۀ΍ͦͷଞͷ࡞ۀ͕ख࡞ۀΛഉࣗ͠ಈԽʹ޲͍͍ͯΔɻ 4. Level 4   → FWԽɻϞσϦϯά͕ՄೳͰଞϓϩμΫτͰ΋స༻͕Մೳɻຊ࣭తʹඞਢ ͳ෦෼ͷந৅Խ͕Ͱ͖͍ͯΔࣄʹՃ͑ɺνʔϜʹ࠷దԽͤ͞ΔͷͰ͸ͳ͘ FWʹνʔϜΛ࠷దԽͤ͞Δ͜ͱΛݟਾ͑Δɻ

Slide 36

Slide 36 text

Summary 01. ·ͣ͸ڭՊॻ௨Γʹ   ɹɾͳʹ΋͔΋ࣗ෼Ͱ࡞Γ্͛Δҙຯ͸ͳ͍ɺڊਓͷݞʹ৐Ζ͏   ɹɾͬ͞͞ͱ࡞ͬͯϓϩλΠϓ࡞ͬͯΞ΢τϓοτͨ͠Β͍͍ 02. ࣮ӡ༻Ͱॏཁͳ͜ͱ͸ΞδϟΠϧ   ɹɾΠςϨʔγϣϯΛૉૣ͘ճͯ͠ɺϒϥογϡΞοϓ͠·͘Δ   ɹɾࣗྗͰ90ˋ͔Β99ˋʹ͢Δ࿑ྗ͸ɺ0ˋ→90ˋͱൺֱ͢ΔͱͰ͔ͯ͘ίεύѱ͍   03. ֤෦ॺͱͷίϥϘϨʔγϣϯ͸ඞਢ   ɹɾ͞·͟·ͳࢹ఺ͰόΠΞε΍ࢥ͍ࠐΈΛഉআͰ͖Δ   ɹɾߟ͑΋͠ͳ͔ͬͨɺೝࣝͰ͖͍ͯͳ͔ͬͨ໰୊ʹؾ෇͘ 04. ΦϒβʔόϏϦςΟͷॏཁੑ ɹɾো֐ͷ༧๷ɺ ൃੜʹର͢Δૉૣ͍ऩଋ ɹɾϢʔβͱϏδωε΁ͷωΨςΟϒΠϯύΫτΛ࠷খʹ 05. ো֐ରԠೳྗΞηεϝϯτ ɹɾΞηεϝϯτ͢Δ͜ͱͰݱঢ়Λਖ਼֬ʹ೺Ѳɺఆظతʹݟ௚͢ ɹɾ݁Ռ͸ڞ༗͠ɺνʔϜ಺Ͱڞ༗͢Δ͜ͱͰࣗ෼͝ͱʹͯ͠΋͏

Slide 37

Slide 37 text

͝ਗ਼ௌ ͋Γ͕ͱ͏͍͟͝·ͨ͠