Share
Embed
CRIUを利用したHTTPリクエスト単位でコンテナを 再配置できる低コストで高速なスケジューリング手法
CRIUを利用したHTTPリクエスト単位でコンテナを
再配置できる低コストで高速なスケジューリング手法
2018年度第4回インターネットと運用技術 (IOT通算第44回) 研究会
2019/03/06
さくらインターネット株式会社
さくらインターネット研究所
上級研究員
松本亮介 / まつもとりー / matsumotory
MATSUMOTO Ryosuke PRO
April 03, 2019
Transcript
35 slides
-
͘͞ΒΠϯλʔωοτגࣜձࣾ (C) Copyright 1996-2019 SAKURA Internet Inc ͘͞ΒΠϯλʔωοτݚڀॴ CRIUΛར༻ͨ͠HTTPϦΫΤετ୯ҐͰίϯςφΛ ࠶ஔͰ͖ΔίετͰߴͳεέδϡʔϦϯάख๏
2019/03/06 ্ڃݚڀһ দຊ ྄հ 2018ୈ4ճΠϯλʔωοτͱӡ༻ٕज़ (IOT௨ࢉୈ44ճ) ݚڀձ -
• ݸਓ͕ͨΓલʹଟछଟ༷ͳWebαΠτΛ࣋ͭ࣌ • ΫϥυɾVPSͷΑ͏ͳࣗ༝ͱִڥʢΠϯελϯεʣʹର͢Δཁٻ • SNSΛհͯ͠ݸਓͷίϯςϯπΛ֦ࢄ͍࣌͢͠ • ݸਓͷWebαΠτͷΞΫηεूத͢Δػձͷ૿େ • ݸਓαΠτͰΞΫηεूதোͱ͍ͬͨมԽʹڧ͍ج൫͕ඞཁ
• ༧ଌͰ͖ͳ͍ΞΫηεͱϦιʔεׂΛϦΞΫςΟϒʹߦ͍͍ͨ 4 ݸਓͷWebαΠτͷΞΫηεूத৴པੑ -
1. ΠϯελϯεՃॲཧ͕Ͱ͋Δ͜ͱΛղܾ • Πϯελϯε(ίϯςφ)ͷঢ়ଶͷఀࢭɾىಈɾεέʔϦϯάΛߴʹ॥ • ϦΫΤετ୯ҐͰϦΞΫςΟϒʹঢ়ଶΛܾఆ → มԽʹڧ͍ج൫ 2. ϋʔυΣΞϦιʔεͷར༻ޮͷ͞Λղܾ
• ϦΫΤετ͕ແ͍ΠϯελϯεҰఆظؒىಈޙʹఀࢭ • CPU48ίΞ256GBϝϞϦఔͷαʔόʹສ͔ΒेສϗετΛఆ ΠϯελϯεΛߴूੵʹऩ༰ՄೳͰมԽʹڧ͍ԾԽج൫FastContainer 5 ߃ৗੑͷ͋ΔมԽʹڧ͍ج൫ͷఏҊ※1 ˞দຊ྄հ ۙ౻Ӊஐ࿕ ࡾ༔հ ྗ݈࣍ ܀ྛ݈ଠ 'BTU$POUBJOFS࣮ߦڥͷมԽʹૉૣ͘దԠͰ͖Δ߃ৗੑΛ࣋ͭγεςϜΞʔΩςΫνϟ Πϯλʔωοτͱӡ༻ٕज़γϯϙδϜจूɼɼʢʣ /PW -
• Մ༻ੑ୲อͷͨΊʹෳΠϯελϯεՔಇͤ͞Δ͜ͱʹΑΔίετͷ૿େ • ෳͷऩ༰αʔόʹΠϯελϯεΛͦΕͧΕՔಇͤ͞Δ͜ͱͰՄ༻ੑΛ୲อ • ߴूੵʹΠϯελϯεऩ༰͢Δ؍͔ΒͰ͖Δ͚ͩϦιʔεΛઅ͍ͨ͠ • ར༻ऀઢͰՄ༻ੑΛ୲อͭͭ͠අ༻Λݮ͍ͨ͠ • ґવͱͯ͠ɺHTTPͷϨεϙϯελΠϜͷ؍͔ΒɺFastContainerͷHTTPϦ
ΫΤετܖػͰঢ়ଶΛมߋ͢Δ࣌ؒͷॖ՝ • ίϯςφࣗମ͘ىಈͯ͠தͰಈ͘αʔόϓϩηεͷىಈ͕͍ 6 FastContainer͓Αͼؔ࿈ݚڀͷՄ༻ੑͷ՝ -
• FastContainer ※1HTTPϦΫΤετʹԠͯ͡Ԡత͔ͭߴʹΠϯελϯε ͷঢ়ଶʢىಈɺఀࢭɺҠಈɺෳɺϦιʔε૿ݮʣΛܾఆ • ΞΫηεʹԠͨ͡ϦΞΫςΟϒͳεέʔϦϯάॲཧ͕Մೳ • ΫϥυαʔϏεج൫༧ΊΠϯελϯεΛىಈͤͯ͞ϦΫΤετΛॲཧ • ΞΫηεूத࣌༧ଌత͔ͭϓϩΞΫςΟϒͳεέʔϦϯάॲཧ͕ඞཁ
9 FastContainerͱΫϥυαʔϏεج൫ͷಛ ˞দຊ྄հ ۙ౻Ӊஐ࿕ ࡾ༔հ ྗ݈࣍ ܀ྛ݈ଠ 'BTU$POUBJOFS࣮ߦڥͷมԽʹૉૣ͘దԠͰ͖ Δ߃ৗੑΛ࣋ͭγεςϜΞʔΩςΫνϟ Πϯλʔωοτͱӡ༻ٕज़γϯϙδϜจूɼɼ ʢʣ ݄ -
• ༷ʑͳWebΞϓϦέʔγϣϯ͕ར༻Մೳ • IaaSPaaSΛར༻ͨ͠Πϯελϯε୯ҐͰͷߏங͓ΑͼՄ༻ੑ୲อ͕Ұൠత • ຊݚڀͷՄ༻ੑ͕લఏͷ߹ɺෳऩ༰αʔόʹͦΕͧΕΠϯελϯεΛϗο τελϯόΠํࣜʢىಈࡁΈͷػΠϯελϯεʣͰػ͢Δ͜ͱͰ࣮ݱ • ऩ༰αʔόఀࢭ࣌ʹଈ࣌αʔϏεΛܧଓ͢ΔͨΊ •
ෳΠϯελϯεͷىಈ͕લఏͱͳΓϦιʔε༗ͷίετ͕૿େ • ϦΞΫςΟϒʹՄ༻ੑΛ୲อ͢ΔʹϨεϙϯελΠϜͷӨڹ͕େ͖͍ 11 FastContainerΫϥυج൫ͷՄ༻ੑ -
4UPSBHF $MJFOU 4FSWFS JOTUBODF" JOTUBODF# JOTUBODF$ 4FSWFS JOTUBODF" 'BTU$POUBJOFSΫϥυج൫ͷՄ༻ੑ )551ϦΫΤετ
4UPSBHF $MJFOU 4FSWFS JOTUBODF" JOTUBODF# JOTUBODF$ 4FSWFS JOTUBODF" )551ϦΫΤετ ✗ 12 αʔόো -
15 4UPSBHF $MJFOU 4FSWFS JOTUBODF" JOTUBODF# JOTUBODF$ 4FSWFS ఏҊख๏ʴ'BTU$POUBJOFSͷՄ༻ੑ )551ϦΫΤετ
4UPSBHF $MJFOU 4FSWFS JOTUBODF" JOTUBODF# JOTUBODF$ 4FSWFS )551ϦΫΤετ JOTUBODF" ✗Ԡతʹ ࠶ஔ αʔόো -
HTTP FastContainerͷجຊϑϩʔ 16 8FC1SPYZ ʢOHY@NSVCZ $.%# ʴ "1* 8FC%JTQBUDIFS OHY@NSVCZ
$MJFOU ίϯςφ ίϯςφ ίϯςφ w )551ϦΫΤετͷ)PTUOBNF ΛΩʔʹɺ$.%# ߏཧ%# ͔ΒίϯςφͷใΛऔಘ )551 4 ϦΫΤετ w ίϯςφͷ*1ͱϙʔτʹج͍ ͯίϯςφʹϓϩΩγ w ίϯςφ͕-JTUFO͍ͯ͠ͳ͍ ߹$.%#͔Βίϯςφ ใΛಘͯىಈ $POUBJOFS&OHJOF IBDPOJXB ऩ༰ϗετ" -
)PTU04 8FC1SPYZ $.%#"1* $POUBJOFS %JTQBUDIFS $POUBJOFS )PTU04 $POUBJOFS %JTQBUDIFS $POUBJOFS
$MJFOU )551 *$.1 )551 )551 )551 *$.1PS5$1 -
)PTU04 8FC1SPYZ $.%#"1* $POUBJOFS %JTQBUDIFS $POUBJOFS )PTU04 $POUBJOFS %JTQBUDIFS $POUBJOFS
$MJFOU )551 *$.1PS5$1 *$.1PS5$1 )551 )551 )551 ✗ ࠷ॳͷ࠶ஔ࣌ίϯςφͷىಈ͕ඞཁͰ͋Δ͕ɺ ىಈޙҰఆظؒىಈ͠ଓ͚Δɻ -
• ICMP/TCPͰᮢνΣοΫ͕Ұ࣌తʹޡݕͯ͠Өڹ͕গͳ͍ • TCPͷ߹ࣗ࡞TCPελοΫͰԟ෮3ύέοτͰνΣοΫ[3][4] • FastContainerͳͷͰޡݕͷ࠶ஔ͕ੜͯ͡αʔϏε͕ܧଓ͞ΕΔ • ޡݕͰଞαʔόʹىಈͯ͠͠·ͬͯҰఆ࣌ؒىಈͨ͠Βఀࢭ͢Δ • ݩαʔόʹ࠶ஔ͞ΕͯCMDB্ݩαʔόͷΈʹϦΫΤετ͕ྲྀΕΔ
• Ԡ࣌ؒͷᮢλΠϜΞτΛΪϦΪϦ·ͰνϡʔχϯάՄೳ 20 ఏҊख๏ͷϙΠϯτʢICMP/TCPࢹʣ <>NBUTVNPUPSZ NSVCZGBTUSFNPUFDIFDL IUUQTHJUIVCDPNNBUTVNPUPSZNSVCZGBTUSFNPUFDIFDL <>-JOVYΧʔωϧͷ5$1ελοΫͱγεςϜίʔϧͷΈ߹ΘͤʹΑΔख๏ΑΓߴʹϙʔτͷ-JTUFOνΣοΫΛ ߦ͏ IUUQTICNBUTVNPUPSKQFOUSZ -
• ίϯςφͷWebαʔόϓϩηεΛىಈྃલͰΠϝʔδԽ(Checkpoint) • ఆظతʹඇಉظͰϓϩηεͷىಈྃલΠϝʔδΛ࡞͓ͯ͘͠ • ϦΫΤετड৴࣌ʹΠϝʔδΛϓϩηεʹ෮ݩ(Restore) • αʔόϓϩηεͷॳظԽॲཧΛεΩοϓ • ىಈʹ࣌ؒͷ͔͔ΔΞϓϦέʔγϣϯαʔόʹ༗ར
• Ruby on RailsɼDjangoͳͲ 21 ఏҊख๏ͷϙΠϯτʢCheckpoint/Restoreʣ -
• ༧උ࣮ݧ: CRIUͱCheckpoint/Restore͢ΔϓϩηεͷϝϞϦαΠζͱͷؔ • දతͳΞϓϦέʔγϣϯΛͬͨίϯςφ࠶ஔ࣌ͷϨεϙϯελΠϜ • Apache 2.4.18ɼPHP 7.3.0ɼWordpress 5.0.3ʢσϑΥϧτϖʔδʣ
• Python 3.7.1ɼDjango 2.1.4ɼgunicorn 19.9.0※1 • Ruby 2.5.1ɼRails 5.2.1ɼPuma 3.12.0※2 27 ࣮ݧ༰ ˞IUUQTNDMPMJQPQ[FOEFTLDPNIDKBBSUJDMFT ˞IUUQTHJUIVCDPNFWFSZMFBGFMUSBJOJO ݱ࣮తͳنʢݸਓάϧʔϓͰͷར༻ͷΞϓϦέʔγϣϯఔʣͰ%#Λར༻ͨ͠ͷΛ࠾ -
• ComputeͰWebαʔόͷCheckpoint/RestoreͷΛܭଌ • mruby-simplehttpserver※1ͰWebαʔόΛىಈͤ͞setsockopt()Λࢹ • setsockopt()࣮ߦલʹCheckpoint • setsockopt()࣮ߦલʹϝϞϦΛ֬อͯ͠ɺϝϞϦαΠζʹԠͯ͡ Checkpoint/RestoreͷͷมԽΛܭଌ 28
༧උ࣮ݧɿϓϩηεͷΠϝʔδԽͷ࣮ݧ ˞NBUTVNPUPSZNSVCZTJNQMFIUUQTFSWFS IUUQTHJUIVCDPNNBUTVNPUPSZNSVCZTJNQMFIUUQTFSWFS -
αʔόϓϩηεͷΠϝʔδԽ(Checkpoint/Restore) 29 $IFDLQPJOU3FTUPSF1SPDFTTJOH5JNFEVFUP.FNPSZ6TBHF 1SPDFTTJOHUJNF<TFD>
.FNPSZVTBHFQFSQSPDFTT<.#> $IFDLQPJOU 3FTUPSF ୯ҰͷαʔόϓϩηεͷϝϞϦ༻ྔʹԠͨ͡$IFDLQPJOU3FTUPSFʹඞཁ -
• Apache 2.4.18ɼPHP 7.3.0ɼWordpress 5.0.3 • ϓϩηε3ɼ୯ҰͷϓϩηεͷϝϞϦαΠζ(RSS)35MBytes • Python 3.7.1ɼDjango
2.1.4ɼgunicorn 19.9.0 ※1 • ϓϩηε2ɼεϨου2ɼ୯ҰͷϓϩηεͷRSS33MBytes • Ruby 2.5.1ɼRails 5.2.1ɼPuma 3.12.0 ※2 • ϓϩηε2ɼεϨου14ɼ୯ҰͷϓϩηεͷRSS89MBytes • gemΛࣄલίϯύΠϧ͓ͯ͘͠bootsnapͱൺֱ 30 ίϯςφ࠶ஔ࣌ͷϨεϙϯελΠϜ -
• ୯ҰΠϯελϯεͰՄ༻ੑΛ୲อ͢ΔߴͳεέδϡʔϦϯάख๏ΛఏҊ • ෳΠϯελϯεΛඞཁͱ͠ͳ͍ͨΊϦιʔείετ͕͍ • ࣮ݧ͔Βݱ࣌Ͱ࣮༻ՄೳͳϨϕϧͷ࠶ஔͷੑೳ͕ಘΒΕͨ • ϓϩμΫγϣϯڥͰԠ༻ • ϗετো࣌Ͱ͋ͬͯϢʔβ͕ؾ͔ͮͳ͍ϨϕϧͰͷՄ༻ੑ
• ΦʔτεέʔϦϯά࣌ʹγʔϜϨεʹίϯςφΛ૿ͯ͠ෛՙରࡦՄೳʹ • ΞΫηεͱϦιʔεׂΓ͕ͯਖ਼֬ʹਵՄೳʹ • εέʔϦϯάϋʔυΣΞϓʔϧͷϦιʔεׂΓͯ࠷దԽ 35 ·ͱΊ