Share
Embed
超個体型データセンターOSを目指したリアクティブ性を持つコンテナ実行基盤技術
超個体型データセンターOSを目指した
リアクティブ性を持つコンテナ実行基盤技術
2018年度第4回インターネットと運用技術 (IOT通算第44回) 研究会
2019/03/06
さくらインターネット株式会社
さくらインターネット研究所
上級研究員
松本亮介 / まつもとりー / matsumotory
MATSUMOTO Ryosuke PRO
April 03, 2019
Transcript
27 slides
-
͘͞ΒΠϯλʔωοτגࣜձࣾ (C) Copyright 1996-2019 SAKURA Internet Inc ͘͞ΒΠϯλʔωοτݚڀॴ ݸମܕσʔληϯλʔOSΛࢦͨ͠ ϦΞΫςΟϒੑΛ࣋ͭίϯςφ࣮ߦج൫ٕज़
2018/11/01 ্ڃݚڀһ দຊ ྄հ 2018ୈ4ճΠϯλʔωοτͱӡ༻ٕज़ (IOT௨ࢉୈ44ճ) ݚڀձ -
4 େنσʔληϯλʔͷूத • σʔληϯλʔͷେنԽͱूத • ίϯϐϡʔλϦιʔεͱίετͷޮԽ • Ϋϥυར༻͕͜͜Ͱਵͱଅਐ͞Ε͖ͯͨ • ٕज़എܠͷมԽʹͬͯOSSΫϥυαʔϏεٸʹมԽ
• ιϑτΣΞϕϯμʔʹڧ͘ґଘ͠ͳ͍มԽʹڧ͍ઃܭ͕ٸ • αʔϏεͷػೳͷநԽͱૄ݁߹ͳઃܭ͕ීٴ • ΫϥυωΠςΟϒɾϚϧνΫϥυɾϚΠΫϩαʔϏεԽ -
5 σʔληϯλʔͷूத͔Βࢄ • ΫϥυΛલఏʹϞϊϦγοΫͳαʔϏεઃܭ͔ΒϚΠΫϩαʔϏεԽ • αʔϏεͷ֤ػೳΛখ͞ͳαʔϏεͱ࣮ͯ͠͠gRPCͰ࿈ܞ • ϚΠΫϩαʔϏε୯ҐͰͷଟ༷ͳνʔϜ։ൃӡ༻ͷޮԽ • εέʔϦϯάো࣌ͷӨڹͷہॴԽ
• ϚΠΫϩαʔϏεؒͰͷଳҬෆϨΠςϯγʔͷݮ͕ٻΊΒΕΔ • େنσʔληϯλʔͷڑʢ౦ژͱੴङؒʣͰ͕ٞੜ࢝͡ΊΔ • αʔό͚ͩͰͳ͘ηϯαʔσόΠεͷߴԽɾଟԽʹΑΔଳҬෆ -
6 σʔληϯλʔػೳ͕ࣾձʹ༹͚ࠐΉະདྷ • ֤ίϯϐϡʔςΟϯάػೳ͕ݸମͱͯ͠ػೳͭͭ͠૯ମͱͯ͠౷ • ϥοΫϨϕϧͷίϯϐϡʔλ܈ɼEdge/FogίϯϐϡʔςΟϯάͳͲ • খɾதنσʔληϯλʔ͕ϋϒͱͳͬͯ݁Ռతʹશମ͕ଓɾߏ • ੜ׆ͷதͰਓʑ͕ίϯϐϡʔλͷΞγετΛৗʹड͚Δ࣌Λࢦ͢
• ͍·͔ͩͭͯͳ͍ϚγϯύϫʔͱΠϯςϦδΣϯεͳػೳΛఏڙ • ࣾձʹ༹͚ࠐΉσʔληϯλʔػೳ͓ΑͼΫϥυͷϚγϯύϫʔ • ݸମܕσʔληϯλʔ͓ΑͼOSͱίϯηϓτΛఆΊΔ -
7 ຊൃද • ݸମܕσʔληϯλʔʹ͓͚ΔίϯηϓτͱϏδϣϯͷհ • ݸମܕσʔληϯλʔOSʹඞཁͳཁ݅ͱ • ݱ࣮తͳWebΞϓϦέʔγϣϯΛѻ͏ίϯςΩετͰ·ͣݕ౼ • ίϯϐϡʔςΟϯάϦιʔε͕ࢄԽͨ͠ࡍͷίϯςφͷ͋Γํ
• σʔληϯλʔOSΛʹ͓͚ΔϓϩηεεϨουͱͯ͠ͷίϯςφ • ίϯςφͷϦΞΫςΟϒੑͷॏཁੑΛٞ • ݱࡏͷ֤ۀքͷऔΓΈίϯςφϥϯλΠϜͷྨͯ͠ཧ -
9 ͘͞ΒΠϯλʔωοτݚڀॴͷϑΥʔΧε T TF T AS T A
A P A P R T T T RI V -
10 ݱࡏͷΫϥυ͚ͩͰ͕ղܾͰ͖ΔΘ͚Ͱͳ͍ • ΑΓҰநԽͷਐΜͩΠϯλʔωοτͷ༷૬ͷมԽ • ΫϥυωΠςΟϒʹΑͬͯ͞ΒͳΔσʔληϯλʔͷڊେԽ • தԝूݖతͳίϯϐϡʔςΟϯάͰ͍͠έʔε • ϨΠςϯγ͕େ͖ͯ͘அ͕ؒʹ߹Θͳ͍ϦΞϧλΠϜ͕ཁٻ͞ΕΔέʔε
• ͋Δ͍σʔλ͕େͰଳҬ͕ෆ͢Δέʔε • ࠓޙΫϥυͷϚγϯύϫʔΛͲͷΑ͏ʹ׆༻Ͱ͖ΔੈքΛࢦ͖͔͢ʁ • ͘͞ΒΠϯλʔωοτݚڀॴͷίϯηϓτͱϏδϣϯΛ࠶ఆٛ -
13 ݸମܕσʔληϯλʔͷཧ 1. ݱࡏσʔληϯλʔʹڊେͳίϯϐϡʔςΟϯάϦιʔε͕ଘࡏ͍ͯ͠·͕͢ɺ ࠓޙϨΠςϯγʗηΩϡϦςΟʗίετͷཁ͔݅Βɺ͋ΒΏΔॴࣾձɺ ৫ʹίϯϐϡʔςΟϯάϦιʔε༹͕͚ࠐΜͰ͍͘͜ͱʹͳΓ·͢ɻ 2. ͦΕΒࢄͨ͠ίϯϐϡʔςΟϯάϦιʔεɺ୯ಠͰίϯϐϡʔςΟϯάύϫʔ Λఏڙ͢Δʹཹ·ΒͣɺͦͷॴࣾձͷཁٻʹԠͯ͡ɺࣗతʹɺࢄ͋Δ͍ ༗ػతʹ݁߹͠ɺݱɾΫϥυͦΕͧΕ͕ॎԣʹ݁ͼ͍ͭͨϋΠϒϦουߏΛ
࠾ΔΑ͏ʹػೳ͠·͢ɻ 3. ͜ͷΑ͏ͳγεςϜʹΑΓ࣮ݱ͞ΕΔͷɺਓʑͷۙʹଘࡏ͠ɺϦΞϧλΠϜ ͔ͭΠϯςϦδΣϯεʹϢʔβΛࢧ͑ͳ͕Βɺ͔͠͠ಉ࣌ʹόοΫΤϯυଆ͕༗ػ తʹ݁߹͢Δ͜ͱʹΑΓɺ͔ͭͯͳ͍ϚγϯύϫʔͱϦιʔεྔΛಈһ͢Δ͜ͱͰ ݱ࠷ద͔ͭશମ࠷దΛ࣮ݱ͢ΔSuper Organized WorldͰ͢ɻ -
15 দຊͷઐྖҬʹ͓͚Δݸମσʔληϯλʔ • ݸମܕσʔληϯλʔʹ͚ͨσʔληϯλʔOSͱίϯςφ • ࣮༻తͳWebAppɼWordPressͱ͔ɼΛ͏·͘ಈ͔͍ͨ͠ͱ͍͏είʔϓ • ComputeͱDataͷ͏ͪCompute-Intensiveʹ·ͣண • ࢄͨ͠σʔληϯλʔ্ʹಁաతʹࢄىಈ͢Δίϯςφ܈͕ඞཁ
• ߴʹࢄͨ͠σʔληϯλʔ্ʹOSͷΑ͏ͳബ͍ϨΠϠʔ͕ඞཁ • ݸମܕσʔληϯλʔOS্ʹϓϩηεͱεϨου͕ଘࡏ -
16 ಁաੑͱίϯςφͷϦΞΫςΟϒੑ • σʔληϯλʔΛಁաత͔ͭ༗ػతʹίϯςφ͕ॲཧΛߦ͏ඞཁ͕͋Δ • ༷ʑͳίϯςφϥϯλΠϜΛϓϩηεεϨουͱݟཱͯΔ • ίϯςφ͕ϦΞΫςΟϒʹঢ়ଶΛม͑ΒΕΔΑ͏ʹ͢Δඞཁ͕͋Δ • ࣄલ༧ଌతͰͳ͘ԠతʹΞΫηεมԽͱϦιʔεׂΛҰகͤ͞Δ
• ݸମతʹߴʹࢄͨ͠σʔληϯλʔΛލ͍ͩ༗ػతͳ࿈ܞ • ίϯςφؒͷ࿈ܞαʔόσʔληϯλʔؒΛߴҠಈ͢Δඞཁ͕͋Δ • ϓϩηεεϨουͷΑ͏ͳOSΛʹ͓͚ΔϦΞΫςΟϒੑ͕ٻΊΒΕ͍ͯ͘ -
18 ίϯςφ࣌ͷWebαʔϏεج൫Ϟσϧ দຊ྄հ, ۙ౻Ӊஐ࿕, ࡾ༔հ, ྗ݈࣍, ܀ྛ݈ଠ, FastContainer: ࣮ߦڥͷมԽʹૉૣ͘దԠͰ͖Δ߃ৗੑΛ࣋ͭγεςϜΞʔΩςΫνϟ, Πϯλʔωοτͱӡ༻ٕज़γϯϙδϜ2017จूɼ2017ɼ89-97ʢ2017-11-30ʣ,
201712݄. ← ͜͜Λߋʹਂ۷Γ 0SDIFTUSBUJPO-BZFS (,& &$4 .BSBUIPO ,VCFSOFUFT %PDLFS4XBSN 4USBUFHZ-BZFS 3BODIFS 'BTU$POUBJOFS 4FSWJDF-BZFS 8FC"QQMJDBUJPOPS4FSWJDFPO$POUBJOFST *OGSBTUSVDUVSF-BZFS ($1 "[VSF "84 0QFO4UBDL .FTPT #BSF.FUBM -JOVY,JU $POUBJOFS3VOUJNF-BZFS %PDLFS .PCZ DPOUBJOFSE -9$ SLU )BDPOJXB ,BUB$POUBJOFST $POUBJOFS3VOUJNF*OUFSGBDF $3* -
19 ίϯςφϥϯλΠϜͷϨΠϠʔϞσϧԽ CRI ίϯςφϥϯλΠϜ ϥϯλΠϜ ্هͷΑ͏ʹఆٛ͞ΕΔ͜ͱ͕ଟ͍͕ɺ ίϯςφϥϯλΠϜͷதʹruncͳͲͷ ϥϯλΠϜ͕͋Δͱ͍͏ͷগ͠Θ͔ Γʹ͍͘ɻ CRI
CRIϥϯλΠϜ OCI OCIϥϯλΠϜ ίϯςφϥϯλΠϜ ΛϥϯλΠϜͷׂ ͰϨΠϠʔϞσϧԽ CRIϥϯλΠϜͱOCIϥϯλΠϜͱఆٛ※1ɻ͜ͷ2ͭ ͷϥϯλΠϜΛ·ͱΊͯίϯςφϥϯλΠϜͱ͢Δɻ CRI : Container Runtime Interface OCI: Open Container Initiative Runtime/Format Specification ※1 Google CloudͷIan LewisࢯCRIϥϯλΠϜΛHigh-Level RuntimeɺOCIϥϯλΠϜΛLow-Level Runtimesͱఆٛ https://www.ianlewis.org/en/container-runtimes-part-1-introduction-container-r -
20 ίϯςφपลͷجຊϨΠϠʔϞσϧ ΦʔέετϨʔγϣϯ CRI CRIϥϯλΠϜ OCI OCIϥϯλΠϜ Podͱίϯςφ܈ CRIܦ༝ͰΦʔέετϨʔγϣϯʹجͮ ͖ίϯςφߏใΛड͚औͬͨΓίϯ
ςφΠϝʔδΛཧ͢ΔCRIϥϯλΠϜ ʢcri-oɺcontainerdͳͲʣ ίϯςφͷߏใΠϝʔδͳͲ͔Β ίϯςφͷϦιʔεׂݖݶΛߦͬ ͯίϯςφΛىಈͤ͞ΔOCIϥϯλΠϜ ʢrunCɺrunscɺrunncɺrunVɺkata- runtimeɺcc-runtimeͳͲʣ -
21 ྫɿίϯςφपลͷجຊϨΠϠʔϞσϧ kubelet CRI containerd OCI runC Podͱίϯςφ܈ ίϯςφͷߏใΠϝʔδͳͲ͔Β ίϯςφͷϦιʔεׂݖݶΛߦͬ
ͯίϯςφΛىಈͤ͞ΔOCIϥϯλΠϜ ʢrunCɺrunscɺrunncɺrunVɺkata- runtimeɺcc-runtimeͳͲʣ CRIͱOCIʹ४ڌ͍ͯ͠Εɺ ΦʔέετϨʔγϣϯ kubernetesΛ͍ͭͭɺ͖ʹ CRIϥϯλΠϜOCIϥϯλΠϜ Λஔ͖͑Մೳ CRIܦ༝ͰΦʔέετϨʔγϣϯʹجͮ ͖ίϯςφߏใΛड͚औͬͨΓίϯ ςφΠϝʔδΛཧ͢ΔCRIϥϯλΠϜ ʢcri-oɺcontainerdͳͲʣ -
22 OCIϥϯλΠϜʹ͓͚ΔPodͱίϯςφ • kubernetesΦʔέετϨʔγϣϯπʔϧͱͯ͠CNCFʹΑΔඪ४Խ͕ਐΉ • ૬ޓʹଓੑͷ͋ΔෳͷίϯςφΛแׅ͢ΔPod • Podͱ͍͏ۭؒ୯ҐͰίϯςφΛͲͷΑ͏ʹσϓϩΠ͢Δ͔ • PodʹٻΊΒΕΔཁ݅
• ηΩϡϦςΟɾੑೳɾαʔόͷऩ༰ޮͳͲ • Podίϯςφͷ࣮ࡍతͳಈ࡞Λ࣮ݱ͢ΔͷOCIϥϯλΠϜ -
23 OCIϥϯλΠϜྨ(helloworldίϯςφىಈ) ηΩϡϦςΟ helloworldੑೳ(Pod+ί ϯςφىಈ)※1 ऩ༰ޮ(ϝϞϦͷϑοτ ϓϦϯτ) ࣮ྫ ݸମܕOSʹ͓͚Δ ϓϩηεܕ
ωʔϜεϖʔεͷִ 0.177s runc: 15976k loop: 4k runC ܰྔεϨου αϯυϘοΫεܕ ϢʔβϥϯυΧʔωϧ γεςϜίʔϧΞΫηε ੍ޚ 0.263s runsc: 11764k runsc-gopher: 11596k runsc-sandbox: 18336k gVisor εϨου ϢχΧʔωϧܕ ϢχΧʔωϧ (ઐ༻appΠϝʔδͱ࠷ ݶͷγεςϜίʔϧ੍ݶ) ͏·͘ಈ͔ͳ͍ͷͰ ௐࠪத ͏·͘ಈ͔ͳ͍ͷͰ ௐࠪத Nabla-Containers εϨου microVMܕ microVM (virtio-net,virtio-blockɼ serial console, a 1-button key-board controller) 1.913s (ͨͩ͠ίϯςφىಈ͕Ͱ ͖ͳ͔ͬͨͷͰௐࠪத) firecracker: 41188k (ຊདྷ͜Εͱruncϓϩη ε͕ىಈ) Firecracker ܰྔϓϩηε VMܕ VM 2.104s kata-runtime: 27904k qemu-lite-system- x86_64: 188272k kata-proxy: 6936k kata-shim: 18784k Kata-Containers ϓϩηε ϗετɿ Macbook Pro late2016, CPU 3.3 GHz Intel Core i7ɼϝϞϦ 16 GB 2133 MHz LPDDR3ɼSSD512GB VMɿ VMWare Fusion 11.0.2ɼCPU2εϨουׂΓͯɼϝϞϦ 2 GB -
24 ݸମܕσʔληϯλʔʹ͓͚Δίϯςφ • ඞཁͳͱ͖ཁ݅ʹ߹ΘͤͯదͳOCIϥϯλΠϜͰىಈ • OSʹ͓͚ΔϓϩηεεϨουͷ͍ํͱಉ༷ • ίϯςφىಈͱىಈޙͷΞϓϦέʔγϣϯͷτϨʔυΦϑΛٞ • ֎తͳΞΫηε༧ଌͰ͖ͳ͍มԽʹϦΞΫςΟϒʹରԠͤ͞Δ
• ϓϩηεεϨουؒͷ࿈ܞʹ͓͍ͯϗετಁաతʹॲཧ͢Δ • ߴʹίϯςφͷঢ়ଶΛมԽͤͨ͞ΓҠಈ͢Δݚڀ͕ඞཁ[1] [1] দຊ྄հɾ௶༎थɾٶԼ߶ี, CRIUΛར༻ͨ͠HTTPϦΫΤετ୯ҐͰίϯςφΛ࠶ஔͰ͖ΔίετͰߴͳεέ δϡʔϦϯάख๏, IOT44, 20193݄. -
26 ݸମܕσʔληϯλʔOSΛࢦͯ͠ • ݸମܕσʔληϯλʔͷίϯηϓτΛհ • σʔληϯλʔػೳ͕ࣾձʹ༹͚ࠐΈͳ͕ΒΫϥυͷϚγϯύϫʔΛ׆༻ • ۩ମతͳϏδϣϯΛհ • σʔληϯλʔͱίϯςφͷεέδϡʔϦϯάͷ؍Ͱٞ
• ϦΞΫςΟϒʹঢ়ଶΛมߋՄೳʹ͢Δॏཁੑʹ͍ͭͯݕ౼ • ֤ࣾͷίϯςφͷOCIϥϯλΠϜ࣮ͷհ • ίϯςφΛεϨουϓϩηεͱݟཱͯͨ߹ͷྨΛཧ -
27 ࠓޙͷ՝ͱݕ౼ • OCIϥϯλΠϜͷྨʹ͓͍ͯߋʹߟ • ͬͱదͳPodͱίϯςφͷ͋Γํ͕ͳ͍͔ • ूੵɾੑೳɾηΩϡϦςΟͷόϥϯεΛ͞Βʹݕ౼͢Δ • PodͷىಈͷͱίϯςφͷΞΫηε੍ޚͷੑೳͷόϥϯεΛٞ
• ߴʹࢄ͞ΕͨίϯςφͷใΛཧ͢ΔΈͷઃܭͱ࣮ • pstopίϚϯυͷΑ͏ͳͷ͔ΒΑΓߴͳπʔϧ·Ͱ • ϓϩηεεϨουͷѻ͍Λศརʹ͢Δ֓೦ͳͲͷݕ౼