iQon Engineer Seminar - Backend

iQON, Growth Hack

- Infrastructure, Monitoring, Provisioning
- Crawler, Push Notification, Retention

Transcript

1. iQONΛࢧ͑ΔόοΫΤϯυ લฤ ~άϩʔεΛࢧ͑ΔΠϯϑϥ~ ޙฤ ~όοΫΤϯυ͔Β߈ΊΔάϩʔεϋοΫ~ 2014.02.20
2. લฤ
3. iQONΛࢧ͑ΔόοΫΤϯυ ~άϩʔεΛࢧ͑ΔΠϯϑϥ~
4. ٢ాਖ਼ً iQONͷΠϯϑϥ·ΘΓͷ؅ཧ΍WebAPI ౳αʔόʔαΠυ։ൃΛ୲౰ɻ ෆಈ࢈ϙʔλϧࣄۀɺ޿ࠂ഑৴ࣄۀͰͷ ։ൃΛܦݧͨ͠ޙ2013೥5݄ʹVASILY ʹೖࣾɻ όοΫΤϯυΤϯδχΞ
5. 1. όοΫΤϯυΤϯδχΞͷ͠͝ͱ 2. iQONͷΠϯϑϥ 3. VASILYͷOps iQONͷάϩʔεΛࢧ͑ΔΠϯϑϥ
6. iQONͷશମ૾ DB Ϋϩʔϥʔ API WEB PC/SP iOS/Android ࣾ಺πʔϧ Ruby1.9/Rails3 Ruby1.9/Rails3 Ruby2.0/Rails4 Ruby2.0 όοΫΤϯυ
7. όοΫΤϯυΤϯδχΞͷ͠͝ͱ 1. API։ൃ 2. Ϋϩʔϥʔ։ൃ 3. ΞϑΟϦΤΠτγεςϜ 4. Πϯϑϥߏஙɾ؅ཧ o  ཁ͸αʔόʔαΠυશൠ
8. iQONͷΠϯϑϥ
9. •  EC2Πϯελϯε : 60୆Ҏ্ o  m1.xlarge : 7ׂ §  ϦβʔϒυΠϯελϯεͰӡ༻ §  ༻్΋ଟछଟ༷ •  ͦͷଞར༻αʔϏε o  ELB, VPC, S3, CloudFront౳ AWS
10. AWS •  όοΫΤϯυΤϯδχΞ͕ΞϓϦέʔγϣ ϯͱΠϯϑϥ྆ํΛΈ͍ͯΔ •  60୆Ҏ্ͷΠϯελϯεͷ؅ཧ͸݁ߏେม o  Ͳ͏͢Δ͔
11. VASILYͷOps
12. αʔόʔߏஙɾ؅ཧ Chef
13. •  ϓϩϏδϣχϯάπʔϧ •  Ruby DSLͰඞཁͳ࡞ۀΛϓϩάϥϜԽ o  γΣϧͰهड़͢ΔΑΓදݱྗͱॊೈੑͱ͍͏఺Ͱ༏ Ε͍ͯΔ Chef
14. Chef •  ಠࣗAMI + Ϩγϐ + αͰӡ༻ o  WEB༻AMI + ChefϨγϐ + α o  API༻AMI + ChefϨγϐ + α o  ϛυϧ΢ΣΞ༻AMI + ChefϨγϐ + α
15. •  ࣮͸Chef Solo o  ηοτΞοϓ࣌ʹָ͢Δ໨త͕ڧ͍ §  ग़ൃ఺͚ͩ౷ҰͰ͖Ε͹ௐ੔͸ָ o  ݫີͳႈ౳ੑΑΓ΋ɺ͋Δఔ౓ͷׂΓ੾Γ §  Πϯελϯε͸ΘΓͱࢮ͵ §  “Immutable Infrastructure” Chef
16. Πϯϑϥͷ؂ࢹ Zabbix
17. •  Pros o  ϝτϦΫεऩू+ঢ়ଶ؂ࢹ+ࢹ֮Խ͕1ͭ Ͱ׬݁ o  ࠷ॳ͔Βػೳ͕๛෋ o  ෳ਺ͷάϥϑΛ1ͭͷը໘(εΫϦʔϯ) ʹάϧʔϓԽͰ͖Δ Zabbix
19. Zabbixར༻࣌ͷετϨε •  Cons o  εΫϦʔϯͷ࡞੒࡞ۀ͕͔ͳΓ໘౗ o  ୯७࡞ۀͷ܁Γฦ͠ i.  ߦ/ྻͷηϧΛ௥Ճ→શάϥϑಡΈࠐΈ ii.  ϑΥʔϜͷදࣔ→શάϥϑಡΈࠐΈ iii.  ϑΥʔϜͷPOST→શάϥϑಡΈࠐΈ ڞ௨ͷϝτϦΫε͚ͩͰ΋εΫϦʔϯΛࣗಈͰߋ৽͍ͨ͠
20. http://blog.kenjiskywalker.org/blog/ 2013/10/17/senrigan/ Zabbix + Senrigan
21. શαʔόʔڞ௨ͷϝτϦΫεΛ1 ը໘Ͱ֬ೝ •  1िؒ΍1ϲ݄ͳͲͷظؒͷ܏޲Λશα ʔόʔҰׅͰ၆ᛌతʹݟΕΔ •  ը૾͸ࣄલʹੜ੒͞Ε͍ͯΔͷͰಡΈࠐ Έ͕ૣ͍ •  1೔1ճ͚ͩࢦఆ࣌ࠁʹߋ৽ Senrigan
22. ಠࣗύον •  ΦϦδφϧ͸1೔1ճߋ৽͕લఏ •  1࣌ؒ͝ͱʹcronͰߋ৽ •  ։࢝࣌ࠁΛݱ࣌ࠁͷ1िؒલ͔Βࢦఆ •  ؂ࢹΛ։࢝͢Ε͹ࣗಈతʹ͜ͷը໘ʹά ϥϑ͕௥Ճ͞ΕΔ Senrigan
24. •  جຊతͳϝτϦΫε •  ΞϓϦέʔγϣϯࢹ఺Ͱͷ਺஋ه࿥ o  HTTPϨεϙϯε o  Resqueͷ࢒Ωϡʔ਺ ΠϯϑϥϨΠϠʔҎ֎Ͱ΋ੵۃతʹ׆༻͢Δ͜ ͱͰɺઐ༻ͷ࢓૊ΈΛ༻ҙ͢ΔखؒΛল͘ ZabbixͰ؂ࢹ&ࢹ֮Խ͍ͯ͠Δ͜ͱ
25. ॏཁͳ஋͸ͱΓ͋͑ͣ ZabbixʹಥͬࠐΜͰՄࢹԽ “ਪଌ͢ΔͳɺܭଌͤΑ”
26. ΞϓϦ։ൃʹूதͰ͖Δڧ͍Πϯϑϥ o  ػೳ֦ுɾվળ͕ͦ͜άϩʔε΁ͷୈҰา §  ΠϯϑϥΑΓΞϓϦέʔγϣϯʹूத͍ͨ͠ o  αʔόʔ௥Ճ/࡟আʹ൐͏֤छ࡞ۀͷࣗಈԽ §  Serf,Docker... o  Φʔτεέʔϧͳ࢓૊Έ ՝୊ɾকདྷ૾
27. ޙฤ
28. iQONΛࢧ͑ΔόοΫΤϯυ~ όοΫΤϯυ͔Β߈ΊΔάϩʔεϋοΫ~
29. ࣗݾ঺հ hoge BoB(େ؏ོ೭) 24ࡀ(2012೥ଔ) ݩάϦʔ(10ϲ݄) 2013೥ 4݄ VASILYೖࣾ όοΫΤϯυΤϯδχΞ
30. iQONͷશମ૾ DB Ϋϩʔϥʔ API WEB PC/SP iOS/Android ࣾ಺πʔϧ Ruby1.9/Rails3 Ruby1.9/Rails3 Ruby2.0/Rails4 Ruby2.0 όοΫΤϯυ
31. iQONͷશମ૾ DB Ϋϩʔϥʔ API WEB PC/SP iOS/Android ࣾ಺πʔϧ Ruby1.9/Rails3 Ruby1.9/Rails3 Ruby2.0/Rails4 Ruby2.0 όοΫΤϯυ
32. ɾ iQONͷΞΠςϜ௥Ճʹ͍ͭͯ ◦ ϛογϣϯ ◦ ΞΠςϜ௥Ճͷࡍͷϓογϡ௨஌ ◦ ΞΠςϜ௥Ճॲཧͷ֓ཁ ◦ ΫϩʔϥʔपΓͷπʔϧʹؔͯ͠ ΞδΣϯμ
33. iQONͷϑΝογϣϯΞΠςϜ௥Ճ ΞΠςϜ ௥Ճॲཧ ɾఏܞઌͷ༷ʑͳECαΠτΛΫϩʔϧͯ͠ɺ ɹ঎඼ͷ৘ใΛຖ೔ऩूɻ
34. ΞΠςϜ௥Ճͷن໛ײ ɾ໿ 60αΠτ(ணʑͱ೔ʑ૿Ճத) ɾղੳ͢Δϖʔδ਺ : 1,000,000݅/೔ ɾΞΠςϜ௥Ճ/ߋ৽਺ : 500,000݅/೔
35. iQONͷϑΝογϣϯΞΠςϜ௥Ճ ΞΠςϜ௥Ճʹؔ͢Δϛογϣϯ: ʮiQONʯΛܧଓͯ͠࢖ͬͯ΋Β͏ʂ ◦ Ϣʔβʔ͕ཉ͍͠৘ใΛత֬ʹ఻͑Δ ◦ ߋ৽ੑ(ΞΫηε͢Δͨͼʹ৽͍͠ൃݟ͕͋Δ)
36. iQONͷϑΝογϣϯΞΠςϜ௥Ճ ϛογϣϯΛ࣮ݱ͢ΔͨΊͷखஈ ᶃ ߋ৽͕͋ͬͨࡍʹద੾ͳϢʔβʔʹϓογϡ௨஌ΛૹΔ ᶄ શఏܞαΠτͷ৽نΞΠςϜΛຖ೔ߋ৽͢Δ ᶅ શఏܞαΠτͷࡏݿ/Ձ֨มಈΛຖ೔ߋ৽͢Δ ᶆ ্هॲཧ͕ਖ਼ৗʹಈ͍͍ͯΔ͔νΣοΫͰ͖Δମ੍Λ࡞Δ ɾಠࣗͷΫϩʔϥʔϑϨʔϜϫʔΫΛ࣮૷࣮ͯ͠ݱ ΞΠςϜ௥Ճʹؔ͢Δϛογϣϯ: ʮiQONʯΛܧଓͯ͠࢖ͬͯ΋Β͏ʂ ◦ Ϣʔβʔ͕ཉ͍͠৘ใΛత֬ʹ఻͑Δ ◦ ߋ৽ੑ(ΞΫηε͢Δͨͼʹ৽͍͠ൃݟ͕͋Δ)
37. iQONͷϑΝογϣϯΞΠςϜ௥Ճ ϛογϣϯΛ࣮ݱ͢ΔͨΊͷखஈ ᶃ ߋ৽͕͋ͬͨࡍʹద੾ͳϢʔβʔʹϓογϡ௨஌ΛૹΔ ᶄ શఏܞαΠτͷ৽نΞΠςϜΛຖ೔ߋ৽͢Δ ᶅ શఏܞαΠτͷࡏݿ/Ձ֨มಈΛຖ೔ߋ৽͢Δ ᶆ ্هॲཧ͕ਖ਼ৗʹಈ͍͍ͯΔ͔νΣοΫͰ͖Δମ੍Λ࡞Δ ɾಠࣗͷΫϩʔϥʔϑϨʔϜϫʔΫΛ࣮૷࣮ͯ͠ݱ ΞΠςϜ௥Ճʹؔ͢Δϛογϣϯ: ʮiQONʯΛܧଓͯ͠࢖ͬͯ΋Β͏ʂ ◦ Ϣʔβʔ͕ཉ͍͠৘ใΛత֬ʹ఻͑Δ ◦ ߋ৽ੑ(ΞΫηε͢Δͨͼʹ৽͍͠ൃݟ͕͋Δ)
38. RetentionΛߴΊΔϓογϡ௨஌
39. RetentionΛߴΊΔϓογϡ௨஌ ɾϓογϡ௨஌→Retention(࠶๚཰UP) ɾ LIKE͍ͯ͠Δϒϥϯυͷ৽نΞΠςϜ௥Ճ ɾ LIKE͍ͯ͠ΔΞΠςϜͷՁ֨ͷมԽ ɾ LIKE͍ͯ͠ΔΞΠςϜͷࡏݿͷมԽ
40. ϓογϡ௨஌ʹΑΔΞϓϦ΁ͷ࠶๚໰ Ϣ ECαΠτ iQON
41. Ϣ ECαΠτ ΞΠςϜ ௥Ճ iQON ϓογϡ௨஌ʹΑΔΞϓϦ΁ͷ࠶๚໰
42. Ϣ ECαΠτ ΞΠςϜ ௥Ճ iQON ɾ৽نΞΠςϜ௥Ճ ɾՁ֨ͷมԽ ɾࡏݿͷมԽ ϓογϡ௨஌ʹΑΔΞϓϦ΁ͷ࠶๚໰
43. Ϣ ECαΠτ ΞΠςϜ ௥Ճ iQON ɾ৽نΞΠςϜ௥Ճ ɾՁ֨ͷมԽ ɾࡏݿͷมԽ ϓογϡ௨஌ʹΑΔΞϓϦ΁ͷ࠶๚໰
44. ɾ৽نΞΠςϜ௥Ճ ɾՁ֨ͷมԽ ɾࡏݿͷมԽ Ϣ ECαΠτ ΞΠςϜ ௥Ճ iQON Retention ϓογϡ௨஌ʹΑΔΞϓϦ΁ͷ࠶๚໰
45. ΞΠςϜ௥Ճʹؔ͢Δϛογϣϯ: ʮiQONʯΛܧଓͯ͠࢖ͬͯ΋Β͏ʂ ◦ Ϣʔβʔ͕ཉ͍͠৘ใΛత֬ʹ఻͑Δ ◦ ߋ৽ੑ(ΞΫηε͢Δͨͼʹ৽͍͠ൃݟ͕͋Δ) iQONͷϑΝογϣϯΞΠςϜ௥Ճ ϛογϣϯΛ࣮ݱ͢ΔͨΊ... ᶃ ߋ৽͕͋ͬͨࡍʹద੾ͳϢʔβʔʹϓογϡ௨஌ΛૹΔ ᶄ શఏܞαΠτͷ৽نΞΠςϜΛຖ೔ߋ৽͢Δ ᶅ શఏܞαΠτͷࡏݿ/Ձ֨มಈΛຖ೔ߋ৽͢Δ ᶆ ্هॲཧ͕ਖ਼ৗʹಈ͍͍ͯΔ͔νΣοΫͰ͖Δମ੍Λ࡞Δ ɾಠࣗͷΫϩʔϥʔϑϨʔϜϫʔΫΛ࣮૷࣮ͯ͠ݱ
46. ΞΠςϜ௥Ճͷϑϩʔ ECαΠτͷ঎඼Ұཡ iQONͷDB಺ʹଘࡏ͢ΔΞΠςϜ ᶃ HTMLͷऔಘ, DOMͷղੳॲཧ ΞΠςϜৄࡉϖʔδURL ᶄ ൑ఆॲཧ Ϋϩʔϥʔ πʔϧ ৽نΞΠςϜ (طଘΞΠςϜ) طଘΞΠςϜ MySQL S3 MongoDB Memcached Solr طଘΞΠςϜ ᶅ ߋ৽ॲཧ ৽نΞΠςϜ ϓογϡ௨஌
47. ΞΠςϜ௥Ճͷϑϩʔ ECαΠτͷϦετϖʔδ iQONͷDB಺ʹଘࡏ͢ΔΞΠςϜ ᶃ HTMLͷऔಘ, DOMͷղੳॲཧ ΞΠςϜৄࡉϖʔδURL ᶄ ൑ఆॲཧ Ϋϩʔϥʔ πʔϧ ৽نΞΠςϜ (طଘΞΠςϜ) طଘΞΠςϜ MySQL S3 MongoDB Memcached Solr طଘΞΠςϜ ᶅ ߋ৽ॲཧ ৽نΞΠςϜ ϓογϡ௨஌
48. ଎౓ + ਫ਼౓ Α Γ ૣ ͘ Α Γ ਖ਼ ֬ ʹ
49. ࣮ߦ଎౓Λ্͛ΔͨΊʹᶃ DOMͷղੳ݁Ռ Λอଘ html DL DOMղੳॲཧ STORAGE 3sec ͔͔Δ 0.5sec ͔͔Δ ௚ ྻ ʹ ॲ ཧ ɾҎલͷΫϩʔϥʔͷྫ
50. DOMͷղੳ݁Ռ Λอଘ html DL DOMղੳॲཧ STORAGE 3sec ͔͔Δ 0.5sec ͔͔Δ ௚ ྻ ʹ ॲ ཧ 3.5sec / 1item ͔͔͍ͬͯΔ ɾҎલͷΫϩʔϥʔͷྫ ࣮ߦ଎౓Λ্͛ΔͨΊʹᶃ
51. DOMͷղੳ݁Ռ Λอଘ html DL DOMղੳॲཧ STORAGE 3sec ͔͔Δ 0.5sec ͔͔Δ ௚ ྻ ʹ ॲ ཧ 3.5sec / 1item ͔͔͍ͬͯΔ ɾҎલͷΫϩʔϥʔͷྫ 1sec / 1item ͕ཧ૝(શͯճΓ͖ΕΔ) ࣮ߦ଎౓Λ্͛ΔͨΊʹᶃ
52. ΩϡʔԽ htmlΛอଘ DOMͷղੳ݁Ռ Λอଘ html DLͷฒྻԽ STORAGE STORAGE 1req / 1secʹ DLϦΫΤετ DOMղੳॲཧ ɾ௚ۙͷΫϩʔϥʔ ࣮ߦ଎౓Λ্͛ΔͨΊʹᶃ
53. ΩϡʔԽ 1req / 1secʹ DLϦΫΤετ htmlΛอଘ DOMͷղੳ݁Ռ Λอଘ STORAGE STORAGE DOMղੳॲཧ 1item/1sec Λ࣮ݱ ɾ௚ۙͷΫϩʔϥʔ ࣮ߦ଎౓Λ্͛ΔͨΊʹᶃ html DLͷฒྻԽ
54. ɾະΫϩʔϧΞΠςϜͷ࠶Ϋϩʔϧޮ཰Խ iQONʹଘࡏ͢ΔΞΠςϜͷதͰΫϩʔϥʔ͕ पΓ͖Ε͍ͯͳ͍ΞΠςϜͷΈΛ࠶Ϋϩʔ ϧɻࡏݿ΍஋ஈΛνΣοΫ͠ɺߋ৽͢Δɻ Redis iQON಺ͷΞ ΠςϜϦετ iQON಺ʹଘࡏ ͯ͠ɺΫϩʔϧ Ͱ͖ͨΞΠςϜ ճΓ͖Εͳ͔ͬ ͨΞΠςϜ iQON಺ʹଘࡏ ͯ͠ɺΫϩʔϧ Ͱ͖ͨΞΠςϜ ຖ೔iQON಺ͷΞΠ ςϜશͯΛޮ཰త ʹߋ৽͍ͯ͠Δɻ ECαΠτͷ Ϧετϖʔδ ͔ΒΫϩʔϧ ࠶Ϋϩʔϧ ࣮ߦ଎౓Λ্͛ΔͨΊʹᶄ
55. ΞΠςϜ௥Ճͷϑϩʔ ECαΠτͷ঎඼Ұཡ iQONͷDB಺ʹଘࡏ͢ΔΞΠςϜ ᶃ HTMLͷऔಘ, DOMͷղੳॲཧ ΞΠςϜৄࡉϖʔδURL ᶄ ൑ఆॲཧ Ϋϩʔϥʔ πʔϧ ৽نΞΠςϜ (طଘΞΠςϜ) طଘΞΠςϜ MySQL S3 MongoDB Memcached Solr طଘΞΠςϜ ᶅ ߋ৽ॲཧ ৽نΞΠςϜ ϓογϡ௨஌
56. ΞΠςϜ൑ఆ 1.  ঎඼ΧςΰϦޡ൑ఆͷ֬ೝ 2.  ը૾छผͷ൑ఆ ◦ɹϞϊ, τϧιʔ, Ϟσϧ, Ұ෦Ϟσϧ 1.  ෆཁΞΠςϜͷ࡟আ ◦ɹ͔Θ͍͘ͳ͍ΞΠςϜͷ࡟আ ɾࣾ಺πʔϧͰiQONʹ௥Ճ͢ΔΞΠςϜΛ൑ఆ ɾʮ଎౓ + ਫ਼౓ʯΛ্͛ΔͨΊͷਓྗ൑ఆ ɾֶश༻ͷσʔλΛམͱ͢→ΧςΰϦ൑ఆͷਫ਼౓UPΛਤΔ
57. ΞΠςϜ௥Ճͷϑϩʔ ECαΠτͷ঎඼Ұཡ iQONͷDB಺ʹଘࡏ͢ΔΞΠςϜ ᶃ HTMLͷऔಘ, DOMͷղੳॲཧ ΞΠςϜৄࡉϖʔδURL ᶄ ൑ఆॲཧ Ϋϩʔϥʔ πʔϧ ৽نΞΠςϜ (طଘΞΠςϜ) طଘΞΠςϜ MySQL S3 MongoDB Memcached Solr طଘΞΠςϜ ᶅ ߋ৽ॲཧ ৽نΞΠςϜ ϓογϡ௨஌
58. ߋ৽ॲཧ ɾΞΠςϜ൑ఆͰॲཧ͞ΕͨΞΠςϜΛόονͰ iQONʹ௥Ճ͢Δɻ ɾΞΠςϜ௥ՃॲཧͰߦ͍ͬͯΔࣄ ◦ ը૾ͷಁաॲཧ/৭ίʔυநग़(RMagick) ◦ SolrΠϯσοΫεͷߋ৽ ◦ DBͷߋ৽ ◦ ৽نΞΠςϜͷ௥Ճ ◦ طଘΞΠςϜͷՁ֨/ࡏݿߋ৽ ◦ ৚݅ʹ͋ͯ͸·ͬͨϢʔβʔʹϓογϡ௨஌
59. ࣌ʑى͖Δ໰୊
60. ࣌ʑى͖Δ໰୊ ΫϥΠΞϯτ͕ʮαΠτͷߏ੒Λมߋʯ
61. orz ͋ɺΫϩʔϥʔࢭ·ͬͯΔ ࣌ʑى͖Δ໰୊ ΫϥΠΞϯτ͕ʮαΠτͷߏ੒Λมߋʯ
62. ࣌ʑى͖Δ໰୊ ΫϥΠΞϯτ͕ʮαΠτͷߏ੒Λมߋʯ orz ͱΕͯΔ஋ͪΐͬͱ͓͔͘͠ͳͬͯΔ
63. ෆ۩߹ͷ ૣظൃݟ + ૣظվम ਫ਼౓Λ্͛ΔͨΊʹ
64. ᶃ Ϋϩʔϧϩάͷݟ͑ΔԽ ɾ೔ผͷΫϩʔϧ݁Ռ ਫ਼౓Λ্͛ΔͨΊʹ ɾECαΠτ͝ͱͷΫϩʔϧ݁Ռ
65. ᶄ ϝʔϧɺChatworkʹΞϥʔτΛඈ͹͢ ਫ਼౓Λ্͛ΔͨΊʹ ※数字はダミーです
66. ·ͱΊ ɾiQONͰ࢖༻͍ͯ͠ΔΞΠςϜσʔλ͸ࣾ಺ಠࣗ ͷΫϩʔϥʔγεςϜͰूΊ͍ͯΔ ɾiQONΛܧଓͯ͠࢖ͬͯ΋Β͏ࣄ͕ϛογϣϯ ɾϢʔβʔ͕ཉ͍͠৘ใΛཉ͍͠λΠϛϯάͰ௨஌ ͢ΔࣄͰϢʔβʔͷRetention֦େʹͭͳ͍͛ͯΔ ɾΞΠςϜ௥Ճ͕άϩʔεʹͲ͏ͭͳ͕Δ͔ɺ ʮ଎౓ + ਫ਼౓ʯΛৗʹҙ࣮ࣝͯ͠૷͠ɺΞϓϦͷ άϩʔεʹόοΫΤϯυ͔Βߩݙ
67. ࠓޙ΍Γ͍ͨࣄ ɾΞΠςϜ௥Ճ ɾΞΠςϜ൑ఆ׬શࣗಈԽ ɾϓογϡ௨஌ ɾϢʔβʔͷଐੑผϓογϡ࠷దԽ ɾ Ϩίϝϯυػೳͷ࣮૷
68. ࠓޙ΍Γ͍ͨࣄ ɾΞΠςϜ௥Ճ ɾΞΠςϜ൑ఆ׬શࣗಈԽ ɾϓογϡ௨஌ ɾϢʔβʔͷଐੑผϓογϡ࠷దԽ ɾ Ϩίϝϯυػೳͷ࣮૷ ࠷େڃͷϑΝογϣϯί ʔσΟωʔταʔϏεͳ ΒͰ͸ͷଞʹ͸ແ͍σʔ λ͕େྔʹ͋Γ·͢ʂ
69. ࠷ޙʹ
70. େืूେืूதΌΕͳঁ ͷࢠΛ૿΍͍ͨ͠ʂ ͓͠ΌΕͳঁͷࢠΛ૿΍ ͍ͨ͠ʂ ଞͷձࣾʹ͸ແ͍σʔλ Λ͔ͭͬͯ୭΋Έͨࣄ͕ͳ͍ αʔϏεΛ࡞Γ͍ͨʂʂ ࠷ߴͷΠϯϑϥ؀ڥͳΒ ͓Εʹ೚ͤΖʂʂʂ ·ͩݟ͵ϑΝογϣϯϨίϝ ϯυγεςϜΛ࡞Γ͍ͨʂʂ ͳ όοΫΤϯυ ΤϯδχΞ େืूதʂ