合同勉強会 in 大都会岡山 -2017 Winter-( https://gbdaitokai.connpass.com/event/58025/ )で使用した発表資料です。
ΤϯδχΞͷ࣋ͭʮෆ҆ʯʹཱ͔ͪ͏ʙ ΒʹͰ͖Δ͜ͱ ʙגࣜձࣾͯͳɹҪ্େีʢ@a_know ʣ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 1
View Slide
ࣗݾհ• Ҫ্େีʢ@a_know / Hatena id:a-know ʣ• ԬࢁݝԬࢁࢢग़• גࣜձࣾͯͳ MackerelνʔϜ CREʢCustomer Reliability Engineerʣ• ུྺ• ܥSIerʹ৽ଔೖࣾʢ20064݄ʣ• ιʔγϟϧήʔϜܥόοΫΤϯυΤϯδχΞɺBtoB WebΞϓϦέʔγϣϯΤϯδχΞΛܦͯݱ৬2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 2
Mackerelʁ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 3
Mackerel ͱ• ͯͳ͕։ൃɾఏڙ͍ͯ͠ΔαʔόʔཧɾࢹΫϥυαʔϏεʢSaaSʣ• 2001ۀͷWebاۀɾͯͳ ͕ഓ͖ͬͯͨαʔόʔཧɾࢹɾӡ༻ͷϊϋΛɺ੯͠Ή͜ͱͳ͍͘Ͱ͍ΔϓϩμΫτ• ಛ• ؍తͳ UI / UX• 1Ͱऴ͑ΒΕΔ΄Ͳ؆୯ͳηοτΞοϓ• ϩʔϯνҎ߱3ؒ ຖि࿈ଓϦϦʔεɹͳͲ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 4
ΤϯδχΞͷ࣋ͭʮෆ҆ʯ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 5
ΤϯδχΞͷ࣋ͭʮෆ҆ʯ• ͍Ζ͍Ζ͋Δ• όά• ো• ݈߁• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 6
ΤϯδχΞͷ࣋ͭʮෆ҆ʯ• ͍Ζ͍Ζ͋Δ• όά• ো• ݈߁ ←• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 7
ಥવͰ͕࣭͢Ͱ͢2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 8
Έͳ͞Μɺࠓͷ݈߁அड͚·͔ͨ͠ʁ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 9
ͦͷ݁ՌͲ͏Ͱ͔ͨ͠ʁ• ྫ͑ɺ݈߁அͷ݁Ռ͕ҎԼͷ5छྨʹྨ͞ΕΔͱͯ͠...1. ਖ਼ৗ2. ཁҙ3. ཁ؍4. ཁਫ਼ີݕࠪ5. ଈೖӃ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 10
͠ࢲ͕ʰ3. ཁ؍ʱͩͬͨ߹• ͜ΜͳΛͲ͏ࢥ͍·͔͢ʁ• ʮ͓େࣄʹ...ʯ• ʮϚγͳํͰ͢Ͷʯ• ʮ·ͩ·ͩΠέΔʯ• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 11
ͲͪΒʹͤΑʮෆ҆ʯͳͷͰ...• ຖͪΌΜͱड͢Δ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 12
ͦͷ݁Ռ......• ύλʔϯA• Ұࡢʰ4. ཁਫ਼ີݕࠪʱ• ڈʰ4. ཁਫ਼ີݕࠪʱ• ࠓʰ3. ཁ؍ʱ ←• ύλʔϯB• Ұࡢʰ1. ਖ਼ৗʱ• ڈʰ1. ਖ਼ৗʱ• ࠓʰ3. ཁ؍ʱ ←2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 13
ͦͷ݁Ռ......• ύλʔϯA ͩͬͨͳΒ• ͪΐͬͱͣͭྑ͘ͳ͖ͬͯͯΔʁ• ύλʔϯB ͩͬͨͳΒ• ͜ͷ··Ͱ·͍ͣ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 14
͓ͳ͡ʰ3. ཁ؍ʱͰɺ͜Ε·Ͱͷஅ݁ՌͱฒͯݟΔ͜ͱͰݟํมΘͬͯ͘Δ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 15
ఆظతɾܧଓతͳड͕େࣄ• ͜ͷ1ͷա͝͠ํ͕݈߁ʹ༩͑ͨӨڹ• ͜͏1ΛͲͷΑ͏ʹա͍͖͔ͯ͘͝͠• ......ͱ͍͏͜ͱΛΔ্Ͱ͔ܽͤͳ͍ͷ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 16
ΤϯδχΞͷ࣋ͭʮෆ҆ʯ• ͍Ζ͍Ζ͋Δ• όά ←• ো• ݈߁• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 17
ʮόάʯͱ͍͏ෆ҆ͷର߅ࡦ• ςετʂ• ҰੲલʹൺʮίʔυΛॻ͘ͱ͖ςετॻ͘ʯ͜ͱҰൠతͱͳͬͨ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 18
ςετܧଓతʹ͓͜ͳ͏͜ͱ͕ॏཁ• CIʢContinuous Integration / ܧଓతΠϯςάϨʔγϣϯʣͷɹ࣮ࢪ• ίʔυʹมߋ͕ೖΔɺʢࣗಈతʹʣςετ࣮ߦΛ͓͜ͳ͏• Ϗϧυ͕յΕͨͱ͖ʹɺ͙͢ʹؾͮ͘͜ͱ͕Ͱ͖Δ• ͦΕΛิॿͯ͘͠ΕΔπʔϧɾαʔϏεɺࠓͨ͘͞Μɻ• Jenkins, CircleCI, TravisCI, etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 19
ΤϯδχΞͷ࣋ͭʮෆ҆ʯ• ͍Ζ͍Ζ͋Δ• όά• ো ←• ݈߁• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 20
ͰʮোʯͲ͏͔ʁ• ͍ΘΏΔʮγεςϜোʯʮαʔϏεোʯΛࢦ͢• γεςϜαʔϏε͕ਖ਼ৗʹɾշదʹར༻Ͱ͖ͳ͍ঢ়ଶ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 21
γεςϜαʔϏε͕ਖ਼ৗʹར༻Ͱ͖ͳ͍ঢ়ଶ• ͦͷཧ༝͞·͟·• αʔόʔμϯ• αʔόʔϦιʔεͷෆɾރׇ• ϓϩηεɾαʔϏεͷμϯ• ΞϓϦέʔγϣϯΤϥʔ• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 22
γεςϜαʔϏε͕ਖ਼ৗʹར༻Ͱ͖ͳ͍ঢ়ଶ• ͦͷཧ༝͞·͟·• αʔόʔμϯ ←• αʔόʔϦιʔεͷෆɾރׇ• ϓϩηεɾαʔϏεͷμϯ ←• ΞϓϦέʔγϣϯΤϥʔ ←• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 23
ʰͦͷ࣌ͦͷ࣌ͷͷ༗ແͷνΣοΫΛ͢Δʱ͜ͱͰؾ͕͚ͭΔͷ• νΣοΫ ≒ OK or NG• αʔόʔͷԠঢ়ଶ• ϓϩηεɾαʔϏεͷՔಇঢ়ଶ• ʢக໋తͳʣΞϓϦέʔγϣϯΤϥʔͷ༗ແ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 24
ʰͦͷ࣌ͦͷ࣌ͷͷ༗ແͷνΣοΫΛ͢Δʱ͜ͱͰؾ͕͚ͭΔͷ• ͜ΕΒɺʮνΣοΫͷλΠϛϯάͰ͕ੜ͍ͯ͡ͳ͚ΕͦΕͰ͍͍͠ɺͳΒࢸٸରԠʹҠΕΑ͍ʯͷ• ͋ͱͦͷසʢ1࣌ؒʹ1ճʁ1ʹ1ճʁ10ඵʹ1ճʁʣͷ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 25
γεςϜαʔϏε͕ਖ਼ৗʹར༻Ͱ͖ͳ͍ঢ়ଶ• ͦͷཧ༝͞·͟·• αʔόʔμϯ• αʔόʔϦιʔεͷෆɾރׇ ←• ϓϩηεɾαʔϏεͷμϯ• ΞϓϦέʔγϣϯΤϥʔ• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 26
ͦͷ࣌ͦͷ࣌ͷʮαʔόʔϦιʔεͷঢ়گʯΛऔಘ͢Δͱ...ʁ• CPU༻• ex. ༻85%• σΟεΫ༻• ex. 80% ༻ࡁΈ• ॲཧͪϓϩηεͷʢLoadAvarageʣ• ex. 1.52017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 27
ͦΕͧΕͷࣈ͕ʮ͍ʯͷ͔ʮ͘ͳ͍ʯͷ͔ʁ• ͜ͷࣈ͚ͩͰΘ͔Γ·͔͢ʁ• Θ͔Βͳ͍ʂ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 28
αʔόʔϦιʔεͷνΣοΫͷ߹• ୯Ұͷʹண͢ΔͷͰͳ͘...• ʰܧଓతʹͷऔಘΛ͓͜ͳ͏͜ͱʱ• ʰͦͷ݁ՌΛهͱͯ͢͜͠ͱʱ• ʰ݁ՌશମΛ࣌ܥྻͰ֬ೝ͢Δ͜ͱʱ• ͱ͍ͬͨࣄฑηοτͰ࣮ࢪͯ͠͡Ίͯҙຯ͕͋Δʂ• ʢଞͷ߲ͱͷ߹ΘٕͤͰݟ͑ͯ͘Δ͜ͱ͋Δʣ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 29
έʔεᶃ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 30
έʔεᶄ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 31
έʔεᶅ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 32
αʔόʔϦιʔεͷνΣοΫʹ͓͍ͯॏཁͳ͜ͱ• ͜ͷΑ͏ʹɺʰαʔόʔͷঢ়گΛܧଓతʹऔಘʱ͠ɺʰͦͷ݁ՌΛ͢͜ͱʱʰ݁ՌΛ࣌ܥྻͰଊ͑ɺΛಡΈऔΔ͜ͱʱ͕ॏཁʂ• ʮαʔόʔࢹʯʮαʔόʔϞχλϦϯάʯ• ʮγεςϜʹର͢ΔܧଓతΠϯςάϨʔγϣϯʯ͕αʔόʔࢹʂ• ࢹͱܧଓతͳςετͰ͋Δ ~ ԞҰึʢh2o ։ൃऀʣ11 http://developer.cybozu.co.jp/archives/kazuho/2010/01/cronlog-52f2.html2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 33
ʮίʔυͷςετɾCIʯͷ࣍ɺʮαʔόʔঢ়ଶͷςετɾCIʯͩʂ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 34
Α͋͘Δ࣭ʮCPUͷ༻ɺ͍͘Β͘Β͍ʹͳΔͱ·͍ͣͰ͔͢Ͷʁʯ• A. ʮରͷγεςϜαʔϏεʹΑΔɻҰ֓ʹݴ͑ͳ͍ʯ• ࣗͷαʔϏεɾγεςϜʹͱͬͯͷฏৗ࣌ͷঢ়ଶʗҟৗ࣌ͷঢ়ଶͱͲ͏͍͏ঢ়ଶͳͷ͔ɺΛΔʂ• ͔ͦ͜Βαʔόʔࢹ࢝·Δʂ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 35
αʔόʔࢹΛࢧ͑ͯ͘ΕΔπʔϧɾαʔϏεͨ͘͞Μ͋Δ• OSS• nagios• Zabbix• Prometheus• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 36
αʔόʔࢹΛࢧ͑ͯ͘ΕΔπʔϧɾαʔϏεͨ͘͞Μ͋Δ• ΫϥυαʔϏεɾSaaS• Datadog• NewRelicʢInfrastructureʣ• Mackerel• etc.2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 37
αʔόʔࢹΛࢧ͑ͯ͘ΕΔπʔϧɾαʔϏεͨ͘͞Μ͋Δ• ͍ͣΕૉΒ͍͠πʔϧɾαʔϏεɻ• ᘳͳͷແͯ͘ʢ͖ͬͱʣɺͲΕʹಘҙෆಘҙ͋Δ• ͲͷπʔϧɾαʔϏεɺͰ͖Δ͚ͩଟ͘ͷέʔεͰ࠷దͳιϦϡʔγϣϯͱͳΕΔΑ͏ɺʑ᛭ୖຏ͍ͯ͠Δ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 38
Mackerel ͱ͍͏બࢶ• ʰܧଓతͳνΣοΫΛ͢Δ͜ͱʱʰͦΕΛهʹ͢͜ͱʱʰ͞ΕͨهΛݟ͘͢ɾѻ͍͍͢ܗͰఏڙ͢Δ͜ͱʱΛαϙʔτ͠·͢• ↓ͳਓʹͦͬͯ͜Έͯ΄͍͠αʔϏεͰ͢• ʮࢹͬͯͦ͠͏ʯʮΑ͘Θ͔Βͳ͍ʯ• ʮΠϯϑϥ୲ͷਓ͕ͬͯ͘ΕΔͷͰ͠ΐʯ• ʮΒͳ͖Όͱࢥ͍ͭͭͬͯ·ͤΜ......ʯ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 39
Mackerel ͱ͍͏બࢶ• ࢲͷΑ͏ʹɺϢʔβʔͷํʹͰ͖Δ͚͍ͩۙͱ͜ΖͰҰॹʹ՝ʹऔΓΉ͜ͱΛϛογϣϯͱ͢ΔਓʢCREʣ͕͍Δɺͱ͍͏͜ͱɺMackerel ͷαʔϏεͷҰ෦Ͱ͢• ͥͻ͓ؾܰʹΛֻ͚͍ͯͩ͘͞ !2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 40
·ͱΊ• ݈߁ɾόάɾোɺͦΕͧΕͷෆ҆ͷର߅ࡦɺఆظతͳνΣοΫΛܧଓతʹ͓͜ͳ͏͜ͱʂ• ͦͷνΣοΫͷ݁ՌΛ͞Βʹ࣌ܥྻʹه͠၆ᛌͯ͠ଊ͑Δ͜ͱͰɺʮରͷʯͱʮݱ࣌Ͱͷঢ়ଶʯ͕ΑΓΘ͔Γ͘͢ͳΔ• ରʹͱͬͯͷฏৗ࣌ɾҟৗ͕࣌ͲͷΑ͏ͳঢ়ଶͰ͋Δͷ͔ΛΔͱ͜Ζ͔Β࢝ΊͯΈ·͠ΐ͏ʂ2017-12-23 ߹ಉษڧձ in େձԬࢁ -2017 Winter-ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ 41