Share
Embed
超個体型データセンターOSを目指した選択性を持つコンテナ実行基盤
超個体型データセンターOSを目指した選択性を持つコンテナ実行基盤
第5回Web System Architecture研究会(#wsa研)@福岡
2019/09/28
さくらインターネット株式会社
さくらインターネット研究所
上級研究員
まつもとりー / @matsumotory / 松本亮介
MATSUMOTO Ryosuke PRO
September 28, 2019
Transcript
29 slides
-
͘͞ΒΠϯλʔωοτגࣜձࣾ (C) Copyright 1996-2019 SAKURA Internet Inc ͘͞ΒΠϯλʔωοτݚڀॴ ݸମܕσʔληϯλʔOSΛࢦͨ͠ બੑΛ࣋ͭίϯςφ࣮ߦج൫
2019/09/27 ্ڃݚڀһ দຊ ྄հ ୈ5ճWeb System Architectureݚڀձ(#wsaݚ)ˏԬ -
3 େنσʔληϯλʔͷूதͱٕज़എܠͷมԽ • σʔληϯλʔͷେنԽͱूத • ίϯϐϡʔλϦιʔεͱίετͷޮԽ • Ϋϥυར༻͕͜͜Ͱਵͱଅਐ͞Ε͖ͯͨ • ٕज़എܠͷมԽʹͬͯOSSαʔϏεٸʹมԽ
• ιϑτΣΞϕϯμʔʹڧ͘ґଘ͠ͳ͍มԽʹڧ͍ઃܭ͕ٸ • ΫϥυωΠςΟϒɾϚϧνΫϥυɾϚΠΫϩαʔϏεԽ • εϚʔτγςΟɾεϚʔτϞϏϦςΟ • Edge/FogίϯϐϡʔςΟϯάɾྔࢠίϯϐϡʔςΟϯά -
4 σʔληϯλʔͷूத͔Βࢄ • ΫϥυΛલఏʹϞϊϦγοΫͳαʔϏεઃܭ͔ΒϚΠΫϩαʔϏεԽ • αʔϏεͷ֤ػೳΛখ͞ͳαʔϏεͱ࣮ͯ͠͠gRPCͰ࿈ܞ • ೝূਪનɺͦͷଞ֤छػೳΛϚΠΫϩαʔϏεԽͯ͠Έ߹ΘͤΔ • ϚΠΫϩαʔϏεؒͰͷϨΠςϯγʔͷݮ͕ٻΊΒΕΔ
• େنσʔληϯλʔͷڑʢ౦ژͱੴङؒʣͰ͕ٞੜ࢝͡ΊΔ • αʔό͚ͩͰͳ͘ηϯαʔσόΠεͷߴԽɾଟԽ • Edge/FogίϯϐϡʔςΟϯάɾεϚʔτγςΟɾεϚʔτϞϏϦςΟ • ϦΞϧλΠϜੑۙͰͷίϯϐϡʔλϦιʔεఏڙྔ૿Ճͷཁٻ -
5 σʔληϯλʔػೳ͕ࣾձʹ༹͚ࠐΉະདྷ • ֤ίϯϐϡʔςΟϯάػೳ͕ݸମͱͯ͠ػೳͭͭ͠૯ମͱͯ͠౷ • ϥοΫϨϕϧͷίϯϐϡʔλ܈ɼEdge/FogίϯϐϡʔςΟϯάͳͲ • খɾதنσʔληϯλʔ͕ϋϒͱͳͬͯ݁Ռతʹશମ͕ଓɾߏ • ੜ׆ͷதͰਓʑ͕ίϯϐϡʔλͷΞγετΛৗʹड͚Δ࣌Λࢦ͢
• ͍·͔ͩͭͯͳ͍ϚγϯύϫʔͱΠϯςϦδΣϯεͳػೳΛఏڙ • ࣾձʹ༹͚ࠐΉσʔληϯλʔػೳ͓ΑͼΫϥυͷϚγϯύϫʔ • ݸମܕσʔληϯλʔ͓ΑͼOSͱίϯηϓτΛఆΊΔ -
6 બੑΛ࣋ͭίϯςφ࣮ߦج൫ • ݸମܕσʔληϯλʔOSʹඞཁͳཁ݅ͱ • ݱ࣮తͳWebΞϓϦέʔγϣϯΛѻ͏ίϯςΩετͰ·ͣݕ౼ • ίϯϐϡʔςΟϯάϦιʔε͕ࢄԽͨ͠ࡍͷίϯςφͷ͋Γํ • σʔληϯλʔOSΛʹ͓͚ΔϓϩηεεϨουͱͯ͠ͷίϯςφ
• ίϯςφͷϦΞΫςΟϒੑͷॏཁੑΛٞ • ֤छίϯςφϥϯλΠϜΛબతʹࣗࢄͨ͠DCల։͢Δج൫ -
8 ͘͞ΒΠϯλʔωοτݚڀॴͷϑΥʔΧε T TF T AS T A
A P A P R T T T RI V -
9 ݱࡏͷΫϥυ͚ͩͰ͕ղܾͰ͖ΔΘ͚Ͱͳ͍ • ΑΓҰநԽͷਐΜͩΠϯλʔωοτͷ༷૬ͷมԽ • ΫϥυωΠςΟϒʹΑͬͯ͞ΒͳΔσʔληϯλʔͷڊେԽ • தԝूݖతͳίϯϐϡʔςΟϯάͰ͍͠έʔε • ϨΠςϯγ͕େ͖ͯ͘அ͕ؒʹ߹Θͳ͍ϦΞϧλΠϜ͕ཁٻ͞ΕΔέʔε
• Edge/FogίϯϐϡʔςΟϯάɾεϚʔτγςΟɾεϚʔτϞϏϦςΟ • ࠓޙΫϥυͷϚγϯύϫʔΛͲͷΑ͏ʹ׆༻Ͱ͖ΔੈքΛࢦ͖͔͢ʁ • ͘͞ΒΠϯλʔωοτݚڀॴͷίϯηϓτͱϏδϣϯΛ࠶ఆٛ -
12 ͦͦݸମͱ • ӳޠͰsuperorganism • ࣾձੑࠛͷࣾձूஂΛҙຯ͢Δ͜ͱ͕ଟ͍ • ࣾձֶੜֶɺܦࡁֶɺαΠόωςΟοΫεͷͳͲͰٞ • ୯ػೳ͔ͭݸผͷػೳΛ࣋ͭݸମ͕૯ମͱͯ͠ݸମҎ্ͷৼΔ͍Λ͢Δ
• ଟͷҟछͷݸମ͕ಠࣗʹಈ͕͘૯ମͱͯ͠ҰͭͷݸମͷΑ͏ʹৼΔ͏ • ಉछͰߏ͞ΕΔ߹ݸମ܈ίϩχʔͳͲͱݺͿ߹ • ͍͔ͭ͘εϚʔτγςΟͷจ຺Ͱจدߘ͕͋Δ [1][2] [1] Franco Zambonelli, Toward Sociotechnical Urban Superorganisms, IEEE Computer Magazine, pp. 76-78, vol. 45, 2012. [2] Nicola Bicocchi, Alket Cecaj, Damiano Fontana, Marco Mamei, Andrea Sassi, Franco Zambonelli, Collective Awareness for Human-ICT Collaboration in Smart Cities, IEEE WETICE 2013, Volume: 1, Pages: 3-8, 2013. -
13 ίϯηϓτɿݸମܕσʔληϯλʔ 1. ݱࡏσʔληϯλʔʹڊେͳίϯϐϡʔςΟϯάϦιʔε͕ଘࡏ͍ͯ͠·͕͢ɺࠓޙϨ ΠςϯγʗηΩϡϦςΟʗίετͷཁ͔݅Βɺ͋ΒΏΔॴࣾձɺ৫ʹίϯϐϡʔ ςΟϯάϦιʔε༹͕͚ࠐΜͰ͍͘͜ͱʹͳΓ·͢ɻ 2. ͦΕΒࢄͨ͠ίϯϐϡʔςΟϯάϦιʔεɺ୯ಠͰίϯϐϡʔςΟϯάύϫʔΛఏڙ͢ Δʹཹ·ΒͣɺͦͷॴࣾձͷཁٻʹԠͯ͡ɺࣗతʹɺࢄ͋Δ͍༗ػతʹ݁߹͠ɺ ݱɾΫϥυͦΕͧΕ͕ॎԣʹ݁ͼ͍ͭͨϋΠϒϦουߏΛ࠾ΔΑ͏ʹػೳ͠·͢ɻ
3. ͜ͷΑ͏ͳγεςϜʹΑΓ࣮ݱ͞ΕΔͷɺਓʑͷۙʹଘࡏ͠ɺϦΞϧλΠϜ͔ͭΠϯ ςϦδΣϯεʹϢʔβΛࢧ͑ͳ͕Βɺ͔͠͠ಉ࣌ʹόοΫΤϯυଆ͕༗ػతʹ݁߹͢Δ͜ͱ ʹΑΓɺ͔ͭͯͳ͍ϚγϯύϫʔͱϦιʔεྔΛಈһ͢Δ͜ͱͰݱ࠷ద͔ͭશମ࠷దΛ ࣮ݱ͢ΔSuperorganizm WorldͰ͢ɻ ฐॴͷʹΑΔղઆIUUQTSFTFBSDITBLVSBBEKQDPODFQUWJTJPO -
14 ίϯηϓτͷ͏ҰͭͷׂɿٞΛ͓͜͢ 1. ݱࡏσʔληϯλʔʹڊେͳίϯϐϡʔςΟϯάϦιʔε͕ଘࡏ͍ͯ͠·͕͢ɺࠓޙϨ ΠςϯγʗηΩϡϦςΟʗίετͷཁ͔݅Βɺ͋ΒΏΔॴࣾձɺ৫ʹίϯϐϡʔ ςΟϯάϦιʔε༹͕͚ࠐΜͰ͍͘͜ͱʹͳΓ·͢ɻ 2. ͦΕΒࢄͨ͠ίϯϐϡʔςΟϯάϦιʔεɺ୯ಠͰίϯϐϡʔςΟϯάύϫʔΛఏڙ͢ Δʹཹ·ΒͣɺͦͷॴࣾձͷཁٻʹԠͯ͡ɺࣗతʹɺࢄ͋Δ͍༗ػతʹ݁߹͠ɺ ݱɾΫϥυͦΕͧΕ͕ॎԣʹ݁ͼ͍ͭͨϋΠϒϦουߏΛ࠾ΔΑ͏ʹػೳ͠·͢ɻ
3. ͜ͷΑ͏ͳγεςϜʹΑΓ࣮ݱ͞ΕΔͷɺਓʑͷۙʹଘࡏ͠ɺϦΞϧλΠϜ͔ͭΠϯ ςϦδΣϯεʹϢʔβΛࢧ͑ͳ͕Βɺ͔͠͠ಉ࣌ʹόοΫΤϯυଆ͕༗ػతʹ݁߹͢Δ͜ͱ ʹΑΓɺ͔ͭͯͳ͍ϚγϯύϫʔͱϦιʔεྔΛಈһ͢Δ͜ͱͰݱ࠷ద͔ͭશମ࠷దΛ ࣮ݱ͢ΔSuperorganizm WorldͰ͢ɻ ༗ػతͱʁॎԣͱʁ࠷దͱʁ → ΜʹٞΛ͓͋͑ͯ͘͜͢ᐆດͳϫʔυΛબ ฐॴͷʹΑΔղઆIUUQTSFTFBSDITBLVSBBEKQDPODFQUWJTJPO -
16 ࠓίϯςφͷ໘ന͍ͱ͜Ζ • ΫϥυɾϗεςΟϯάۀքʹ͍ͨࣗͱͯ͠ཁૉٕज़͜Ε·Ͱͱಉ͕ͩ͡ • ίϯςφΛऔΓר͘ΤίγεςϜඪ४Խ͕ੈքͰڠௐͯ͠ਐΈ࢝Ί͍ͯΔ • kubernetesɺistioͳͲͷαʔϏεϝογϡɺϚΠΫϩαʔϏεͷ׆༻ • Open
Container Initiative(OCI)ɺContainer Runtime Interface(CRI) • CNCFΛத৺ʹ͜ΕΒͷݚڀɾઃܭɾ։ൃɾඪ४Խ͕ΜʹߦΘΕ͍ͯΔ • ಛʹΦʔέετϨʔγϣϯ࣮ݱࠔͩͬͨͱ͜ΖΛօͰڠྗͯٞ͠ɾ։ൃ • ΞΧσϛΞͱاۀ͕ڠྗͯ͠ݚڀΛ࢝͠Ί͍ͯΔ -
17 ίϯςφͱݸମσʔληϯλʔ • ݸମܕσʔληϯλʔʹ͚ͨσʔληϯλʔOSͱίϯςφ • ࣮༻తͳWebAppɼWordPressͱ͔ɼΛ͏·͘ಈ͔͍ͨ͠ͱ͍͏είʔϓ • ComputeͱDataͷ͏ͪCompute-Intensiveʹ·ͣண • ࢄͨ͠σʔληϯλʔ্ʹಁաతʹࢄىಈ͢Δίϯςφ܈͕ඞཁ
• ߴʹࢄͨ͠σʔληϯλʔ্ʹOSͷΑ͏ͳബ͍ϨΠϠʔ͕ඞཁ • ݸମܕσʔληϯλʔOS্ʹϓϩηεͱεϨου͕ଘࡏ͢Δੈք؍ -
18 ಁաੑͱίϯςφͷϦΞΫςΟϒੑͷॏཁ͞ • σʔληϯλʔΛಁաత͔ͭ༗ػతʹίϯςφ͕ॲཧΛߦ͏ඞཁ͕͋Δ • ߴʹࢄͨ͠ཧతಛੑΛҙࣝ͠ͳ͍Α͏ʹ͖͢ • ࣄલ༧ଌతͰͳ͘ԠతʹΞΫηεมԽͱϦιʔεׂΛҰகͤ͞Δ • ίϯςφ͕ϦΞΫςΟϒʹঢ়ଶΛม͑ΒΕΔΑ͏ʹ͢Δඞཁ͕͋Δ※1
˞3ZPTVLF.BUTVNPUP 6DIJP,POEP ,FOUBSP,VSJCBZBTIJ 'BTU$POUBJOFS")PNFPTUBUJD4ZTUFN "SDIJUFDUVSF)JHITQFFE"EBQUJOH&YFDVUJPO&OWJSPONFOU$IBOHFT 5IFSE "OOVBM*&&&*OUFSOBUJPOBM$PNQVUFST 4PGUXBSF BOE"QQMJDBUJPOT$POGFSFODF $0.14"$ +VMZ -
19 ಁաੑͱίϯςφͷϦΞΫςΟϒੑͷॏཁ͞ • ݸମతʹߴʹࢄͨ͠σʔληϯλʔΛލ͍ͩ༗ػతͳ࿈ܞ • ֤छίϯςφϥϯλΠϜΛϓϩηεεϨουͱݟཱͯΔ • ίϯςφؒͷ࿈ܞαʔόσʔληϯλʔؒΛߴʹҠಈ • ঢ়ଶͷมԽʢఀࢭɾىಈΛؚΉʣΛՄೳͳݶΓ͘ಈ࡞ͤ͞Δඞཁੑ
• ͋Δ͍ɺར༻ऀ͕ঢ়گʹԠͯ͡ඞཁͳϓϩηεεϨουΛબͰ͖Δ • ैདྷͷOS্ͰΞϓϦέʔγϣϯΛ࣮͢Δࡍͷ͍ํΛ౿ऻ -
20 dockerdΛܦ༝֤ͨ͠छίϯςφϥϯλΠϜ※1 time sudo docker run --rm mizzy/hello:latest /hello time
sudo docker run --rm --runtime=runsc mizzy/ hello:latest /hello time sudo docker run --rm --runtime=kata-runtime mizzy/ hello:latest /hello time sudo docker run --rm --runtime=runnc mizzy/ hello:latest /hello.nabla time sudo docker run --rm --runtime=kata-fc mizzy/ hello:latest /hello ˞দຊ྄հ ௶༎थ ٶԼ߶ี ࢄܕσʔληϯλʔ04Λࢦͨ͠ϦΞΫςΟϒੑΛ࣋ͭίϯςφ࣮ߦج൫ٕज़ ใॲཧֶձݚڀใࠂΠϯλʔωοτͱӡ༻ٕज़ʢ*05ʣ /P*05 7PM QQ ݄ -
ϝοηʔδ ηΩϡϦςΟ ࣮ྫ helloworldੑೳ (Pod+ίϯςφىಈ) ऩ༰ޮ (1ίϯςφ͋ͨΓͷϝϞϦͷ ϑοτϓϦϯτ) ϓϩηεܕ ωʔϜεϖʔεͷִ
runC 0.847 s docker: 50356 KB containerd-shim: 6124 KB ߹ܭ 56 MB αϯυϘοΫεܕ ϢʔβϥϯυΧʔωϧ γεςϜίʔϧΞΫηε੍ޚ gVisor(runsc) 1.034 s docker: 50532 KB cintainerd-shim: 5812 KB runsc-gopher: 12296 KB runsc-sandbox: 18124 KB ߹ܭ 85 MB ϢχΧʔωϧܕ ϢχΧʔωϧ (ઐ༻appΠϝʔδͱ࠷ݶͷ γεςϜίʔϧ੍ݶ) Nabla-Containers(runnc) 0.897 s docker: 50720 KB containerd-shim: 5512 KB nabla-run: 6684 KB ߹ܭ 62 MB microVMܕ microVM (virtio-net,virtio-blockɼ serial console, a 1-button key-board controller) Firecracker (devmapper snapshotter) (Kata plugin) 3.889 s docker: 1170808 KB docker-containerd-shim: 9960 KB kata-shim: 455664 KB firecracker: 145952 KB ߹ܭ 1700 MB VMܕ VM Kata-Containers 2.415 s docker: 51056 KB containerd-shim: 6060 KB qemu-lite-system-x86_64: 227316 KB kata-proxy: 6132 KB kata-shim: 19536 KB ߹ܭ 310 MB ݄࣌ -
23 Pod͓Αͼίϯςφͷىಈ࣌ؒͱAppੑೳ • VMMicroVMΞϓϩʔνPodىಈʹ͕͔͔࣌ؒΔ • Pod͕ىಈͯ͠͠·͑AppͷΞΫηε੍ޚݫີͰͳ͍ • ίϯςφ্ͷWebAppൺֱతੑೳ͕ߴ͘ͳΔ • αϯυϘοΫϢχΧʔωϧͷΞϓϩʔνPodىಈ͍
• AppͷγεςϜίʔϧϑΝΠϧΞΫηεΛࢹ͠ݫີʹΞΫηε੍ޚ • ίϯςφ্ͷWebAppݪཧతʹੑೳ͕͘ͳΔ -
24 ݸମܕDC/OSͷϓϩηε/εϨουʹؔ͢Δݚڀ ࣾձʹ༹͚ࠐΜͩϗετ Τοδͷίϯϐϡʔ ςΟϯά܈ ϓϩηεཧػߏ ࣾձʹ༹͚ࠐΜͩϗετ Τοδͷίϯϐϡʔ ςΟϯά܈ ࣾձʹ༹͚ࠐΜͩϗετ
Τοδͷίϯϐϡʔ ςΟϯά܈ ϓϩηε εϨου ϓϩηε ϓϩηε εϨου εϨου ɾར༻ऀͷ༻్ʹԠͯ͡ΞϓϦέʔγϣϯΛࣗ༝ʹϓϩηεܕεϨουܕɺߋʹܰྔϓϩηεܕͰ࣮ߦͰ͖Δ ɾϓϩηεεϨουΛϦΞΫςΟϒʹεέδϡʔϦϯά࣮ͯ͠ߦසͷมԽͱϦιʔε༻ྔͷมԽΛ͚ۙͮΔ ɾϓϩηεεϨουίϯϐϡʔςΟϯάར༻ऀͷঢ়گʹԠͯ͡ಁաతʹεέδϡʔϦϯάΛߦ͏ ϓϩηεɺྫ͑ Pod͕VMͰִ͞Εͨ ίϯςφ܈ͱఆٛ εϨουɺྫ͑ PodϢʔβʔϥϯυ ΧʔωϧͰִ͞Ε ͨίϯςφ܈ͱఆٛ ܰྔϓϩηε ܰྔϓϩηεɺྫ͑Pod ͕࠷ݶͷVMͷԾԽػೳͷ ΈͰִ͞Εͨίϯςφ܈ͱ ఆٛ εέδϡʔϥʔ ݸମܕσʔληϯλʔOS -
25 ݸମܕσʔληϯλʔʹ͓͚Δίϯςφ • ඞཁͳͱ͖ཁ݅ʹ߹ΘͤͯదͳίϯςφϥϯλΠϜΛબతʹىಈ • OSʹ͓͚ΔϓϩηεεϨουͷ͍ํͱಉ༷ • ίϯςφىಈͱىಈޙͷΞϓϦέʔγϣϯͷτϨʔυΦϑΛٞ • ىಈͱىಈޙͷੑೳͷόϥϯεΛऔΔίϯςφϥϯλΠϜͷ༗Γํ
• ֎తͳΞΫηε༧ଌͰ͖ͳ͍มԽʹϦΞΫςΟϒʹରԠͤ͞Δ • ϓϩηεεϨουؒͷ࿈ܞʹ͓͍ͯϗετಁաతʹॲཧ͢Δ • ߴʹίϯςφͷঢ়ଶΛมԽͤͨ͞ΓҠಈ͢Δݚڀ͕ඞཁ[1] [1] দຊ྄հɾ௶༎थɾٶԼ߶ี, CRIUΛར༻ͨ͠HTTPϦΫΤετ୯ҐͰίϯςφΛ࠶ஔͰ͖ΔίετͰߴͳεέ δϡʔϦϯάख๏, IOT44, 20193݄. -
27 ݸମܕDC/OSʹ͓͚Δίϯςφج൫ • ݸମܕσʔληϯλʔͷίϯηϓτΛհ • σʔληϯλʔػೳ͕ࣾձʹ༹͚ࠐΈͳ͕ΒΫϥυͷϚγϯύϫʔΛ׆༻ • ۩ମతͳϏδϣϯΛհ • ར༻ऀͷ༻్ʹԠͨ͡બతͳίϯςφϥϯλΠϜ࣮ߦج൫ͷߏ
• ϦΞΫςΟϒੑ͕ཁٻ͞ΕΔέʔεͰϢʔβϥϯυΧʔωϧܕ • ىಈޙͷΞϓϦͷੑೳ͕ཁٻ͞ΕΔέʔεͰVMִܕ • ίϯςφVMΛεϨουϓϩηεͷΑ͏ʹಁաతʹ࣮ߦ͢Δج൫ -
28 ࠓޙͷ՝ͱݕ౼ • OCIϥϯλΠϜͷྨʹ͓͍ͯߋʹݚڀ։ൃ • Podͱίϯςφ͕ΑΓ͘ىಈ͠ΞϓϦέʔγϣϯΛॲཧͰ͖Δݚڀ • ूੵɾੑೳɾηΩϡϦςΟɾ͍͢͞ͷόϥϯεΛ͞Βʹݕ౼͢Δ • ߴʹࢄ͞ΕͨίϯςφͷใΛཧ͢ΔΈͷઃܭͱ࣮
• ϦΞΫςΟϒͷจ຺ͰߴʹϦιʔεใΛऔಘɾ੍ޚͰ͖Δٕज़ • Ϧιʔεใʹج͍ͮͨྔࢠίϯϐϡʔςΟϯάʹΑΔ࠷దԽͷղܾ • ͋ͷͭΔʔ @tsurubee3 ͞Μ͕औΓΜͰ͍Δݚڀˢ -
29 ݸମܕDC/OSͷࢄܕϦιʔεཧʹؔ͢Δݚڀ ࣾձʹ༹͚ࠐΜͩϗετ Τοδͷίϯϐϡʔ ςΟϯά܈ ࣾձʹ༹͚ࠐΜͩϗετ Τοδͷίϯϐϡʔ ςΟϯά܈ ࣾձʹ༹͚ࠐΜͩϗετ Τοδͷίϯϐϡʔ
ςΟϯά܈ ϓϩηε εϨου ϓϩηε ɾͲͷϗετΤοδʹϓϩηεεϨου͕ىಈɾఀࢭɾҠಈ͞ΕͯϦιʔεཧͰ͖ΔࢄϦιʔεཧγεςϜ ɾίϯηϯαεΞϧΰϦζϜͷҰ෦ػೳΛར༻ͨ͠ϝϯόʔγοϓཧͱ໋ྩͷฒྻԽʹΑͬͯϦιʔεΛ੍ޚ ɾཧऀ͕ݸମͷঢ়ଶʹ߹Θͤͯπʔϧ࣮ߦ͢ΔͷͰͳ͘πʔϧ࣮ߦʹݸମ͕ਖ਼͘͠Ԡͯ͑͠Λࣔ͢ ܰྔϓϩηε Ϧιʔεঢ়گͷऔಘ Ϧιʔεͷ੍ޚ ϝϯόʔγοϓཧ ʴ ໋ྩฒྻԽ ཧऀͷπʔϧ Ϧιʔεͷ੍ޚ Ϧιʔεঢ়گͷऔಘ ϓϩηεཧػߏ ϝϯόʔγοϓཧ ʴ ໋ྩฒྻԽ