Upgrade to Pro — share decks privately, control downloads, hide ads and more …

100万コンテナのKubernetesプラットフォームを5年間スケーラブルに運用するために乗り...

 100万コンテナのKubernetesプラットフォームを5年間スケーラブルに運用するために乗り越えていること

CloudNative Days Tokyo 2023 での登壇資料です

LY Corporation Tech

December 11, 2023
Tweet

More Decks by LY Corporation Tech

Other Decks in Technology

Transcript

  1. ˜-:$PSQPSBUJPO ;$1ͱ͸  • ;$1͸:BIPP+"1"/αʔϏε༻ͷϚωʔδυ,VCFSOFUFTBTB4FSWJDF ,BB4 • ։ൃऀͷߴ͍ੜ࢈ੑͷͨΊηΩϡΞͰӡ༻͕؆୯ͳ,BB4Λఏڙ • ֬อ͞ΕͨηΩϡϦςΟ

    ؂ࠪɺ੬ऑੑରԠ • 43&ͷϓϥΫςΟεΛ؆୯ʹ࣮ݱͰ͖Δ PZɺΞϥʔςΟϯάɺӡ༻ࣗಈԽ • શࣾͷαʔϏε͕ར༻͢ΔۃΊͯॏཁͳϓϥοτϑΥʔϜ • ΞϓϦέʔγϣϯͷՔಇ཰ ;-BC,BB4νʔϜ ։ൃɾӡ༻ ఏڙɾ؅ཧ ։ൃऀ FUD ;$1
  2. ˜-:$PSQPSBUJPO ,BB4ͷن໛  • ͷ("͔Β೥ؒӡ༻ͯ͠ ✔  ,TDMVTUFST ✔ ,

    $POUBJOFST ✔ , 7.T ࣌఺ • ͜ΕΒΛ਺໊Ͱ؅ཧ 0 1000 2000 3000 k8sクラスタ数 0 20000 40000 60000 80000 VM 数 0 500000 1000000 1500000 2000000 コンテナ 数
  3. ˜-:$PSQPSBUJPO ,BB4ͷϓϩμΫτϏδϣϯ  -*/&Ϡϑʔ͕ੈքͷมԽʹര଎ͰదԠͰ͖Δ • ੈքͷχʔζͷมԽɺͻ͍ͯ͸-*/&ϠϑʔͷϏδωε΋มԽ͢Δ • ଈ࠲ʹదԠͰ͖ΔϓϥοτϑΥʔϜͰ͋Γ͍ͨ ϏδϣϯΛୡ੒͢ΔϚΠϧετʔϯͱͯ͠ɺ৴པੑɾ҆ఆੑͷ౰ͨΓલ඼࣭͕શͯͷجૅʹ 

    ৴པੑɾ҆ఆੑ ,BB4ར༻ऀ͸ɺৗʹ҆ఆͨ͠,BB4Λ͍ͭͰ΋࢖͏͜ͱ͕Ͱ͖Δ  τΠϧ࡟ݮ ,BB4νʔϜ͕ఆৗతͳτΠϧ͔Βղ์͞Εɺར༻ऀ΁ͷՁ஋ఏڙ͕ৗʹ଎͘ߦ͑Δ  69 ,BB4ར༻ऀͷ՝୊Λ؍࡯ɺ੠Λ܏ௌ͠ɺਅͷ՝୊ղܾࡦΛଈ࠲ʹఏڙͰ͖͍ͯΔ
  4. ˜-:$PSQPSBUJPO աڈʹ௚໘ͨ͠՝୊ͱղܾํ๏  ա৒ͳϦιʔεཁٻ ࣮ར༻͍ͯ͠ΔϦιʔεྔΛՄࢹԽ ϚΠΫϩαʔϏεԽͷฐ֐ 5SBDJOHͷಋೖ αϙʔτൣғͷෆໟͳ֦େ ఆظతͳ,Tόʔδϣ ϯΞοϓ

    ηΩϡϦςΟ ίϯςφͷ౷ ߹ηΩϡϦςΟ πʔϧͷಋೖ େྔϩάͷू໿ ౷߹ϩά؅ཧ1' ͷಋೖ ,Tͷ஌ݟ  ར༻ऀ΁ͷܒ ໤ͳͲ "QQMJDBUJPO $POUBJOFS ,TDMVTUFS ,BB4 (" ຊ೔͓࿩ ͢Δൣғ ݱࡏ ͜Ε͔Β େྔΫϥελͷ؂ࢹ ϝτϦΫεʹΑΔ౷߹؂ࢹ /PEF ,BB4ͷٸܹͳ੒ ௕ʹ૿ڧ͕௥͍ ͔ͭͳ͍ কདྷͷར༻ܭ ըؚΊͨϦιʔ ε؅ཧπʔϧͷ ։ൃ ৴པੑɾ҆ఆੑ τΠϧ࡟ݮ 69
  5. ˜-:$PSQPSBUJPO • FYQPSUFSͰ؂ࢹର৅ͷϝτϦΫεΛऩू • ,BB4νʔϜͷ1SPNFUIFVTʹϝτϦΫεΞϥʔτΛू໿͠౷߹؂ࢹ • ՝୊ػೳ͕ਖ਼ৗԽ͸෦෼తͳ؂ࢹͷΈͰ͸ෆे෼Ͱ͋Δ  ैདྷͷେྔΫϥελͷ؂ࢹํ๏ͱ՝୊ αʔϏε"

    GFEFSBUF "QQMJDBUJPO GFEFSBUF NFUSJDT ,BB4νʔϜ ,BB4νʔϜ ,TΫϥελ αʔϏε; ʜ LVCFDUM LVCFDUM͕࢖͑ͳ͍ "MFSUͳ͠ ܭଌͯ͠ͳ͍͔Β෼͔Βͳ͍ ͦͯ͠ؾ͍͍ͮͯͳ͍Ϣʔβʹࠂ஌ɺ ରॲͷҊ಺͕ඞཁ͔΋͠Εͳ͍
  6. ˜-:$PSQPSBUJPO • ΞϥʔτରԠ • SeverityʹԠͯ͡ରԠ • μογϡϘʔυ • Φϯίʔϧ୲౰͕ຖேSLIΛ೺Ѳ͠ɺSLOҧ൓Λະવʹ๷͙༧๷อશ •

    ো֐ൃੜ࣌ͷӨڹௐࠪ • Ϛωʔδϟʔ͕ϓϩμΫτͷ඼࣭Λฉ͔ͣͱ΋෼͔Δ  ৴པੑʹѪணΛ࣋ͯΔΑ͏ʹ
  7. ˜-:$PSQPSBUJPO • େ൒ͷར༻ऀ͸ίϯϐϡʔςΟϯάϦιʔεΛڞ༗͢Δ4IBSFE؀ڥΛར༻ • 4IBSFE؀ڥ͸$16 0WFS$PNNJUΛઃఆͯ͠ɺϦιʔεར༻ޮ཰ΛߴΊ͍ͯΔ  ,BB4ͷTIBSFE؀ڥ DQV DQV

    DQV DQV DQV ʜ )ZQFS7JTPS )7 • ഒ཰ΛߴΊΔ͜ͱͰɺ෺ཧίΞ਺ͷ্ݶΛ௒͑ͯ7.Λऩ༰Ͱ͖Δ • ഒ཰ΛߴΊΔͱ$164UFBM͕ൃੜ͠΍͘͢ͳΓɺϏδωεػձͷଛࣦʹ
  8. ˜-:$PSQPSBUJPO • ՝୊/PJTZOFJHICPSͷಛఆʹ͕͔͔࣌ؒΓɺ/PEFୀආ͕ར༻ऀͷτΠϧʹ • ಉډ͍ͯ͠ΔαʔϏεͷಛఆํ๏͕खಈɺ͔ͭٯҾ͖ͷ৘ใ͕ଘࡏ͠ͳ͍ • ར༻ऀͰτϥΠͨ͠ޙͷ໰͍߹Θ͕ͤଟ͘ɺಛఆʹܨ͕ΔϝτϦΫε͕ফࣦ  /PJTZ OFJHICPSͷಛఆ͸ֻ͕͔࣌ؒΔ

    αʔϏε" 7. 7. )7 αʔϏε# 7. 7. αʔϏε$ 7. 7.  /PEF໊Λऔಘ /PEF໊͔Β7.໊Λݕࡧ 7.໊͔Β)7໊Λݕࡧ 7.໊͔Β/PEF໊ΛٯҾ͖ /PEFͷ$164UFBM͔Βಛఆ … … ਺ඦΫϥελ 7.நग़ /PEF͕ऩ༰͞Εͨ)7ΛݕࡧͰ͖ΔΑ͏ʹ͍ͨ͠ ਺ສͷ7.͔Βɺಉډͯ͠ ͍ͨ7.Λಛఆ͢Δ
  9. ˜-:$PSQPSBUJPO • ՝୊/PJTZOFJHICPSͷಛఆʹ͕͔͔࣌ؒΓɺ/PEFୀආ͕ར༻ऀͷτΠϧʹ • ղܾํ๏FYQPSUFSΛࣗ࡞ͯ͠؆୯ʹऩ༰ঢ়گ͕औΕΔΑ͏ʹ  ,BB4ͷ؅ཧ৘ใ͔ΒٯҾ͖ αʔϏε" OPEF@DQV@TUFBM@SBUF@XJUI@IW@OBNF@PQFOTUBDLN\GVMM@DMVTUFS@OBNFzTFSWJDFLTDMVTUFS 

    IW@OBNFzIWYYYZZZ JOTUBODFzTFSWJDFXPSLFSGBBGS[WKM  WN@OBNFzDMVTUFSXPSLFSGTQNU^ ,BB4νʔϜ ,TΫϥελ ,BB4 NBDIJOF@ FYQPSUFS OPEF@ FYQPSUFS 7. /PEF ؅ཧ৘ใ )7 OPEF@DQV@TUFBM@SBUF{ JOTUBODFlZZZz ^ NBDIJOF@NFUSJDT\ IW@OBNFlYYYz JOTUBODFlZZZz WN@OBNFl[[[z^ ϥϕϧ ݁߹
  10. ˜-:$PSQPSBUJPO • $16 4UFBM͕ᮢ஋Λ௒͑ͨΒ/PEFΛࣗಈୀආ͠ɺར༻ऀͷτΠϧΛ࡟ݮ • ࣗಈୀආʹΑΓ4UFBMͷεύΠΫ͕ݮͬͯαʔϏε͕҆ఆՔಇ  ϝτϦΫεʹͰ͖ͨΒτΠϧ࡟ݮ ,BB4νʔϜ ,TΫϥελ

    DQV DQV DQV DQV ʜ 🔥 🔥 🔥 DQV 🔥 $164UFBM ϩʔυόϥϯα )ZQFSWJTPS# /PEF؅ཧ৘ใ SFGSFTI DQV DQV DQV DQV ʜ DQV )ZQFSWJTPS" OPEFDPOUSPMMFS DSFBUF EFMFUF
  11. ˜-:$PSQPSBUJPO • ;$1ʹ͓͚Δ0O$BMMମ੍ • 1SJNBSZ 4FDPOEBSZͷਓମ੍ • 8FFLMZͰަ୅ • ҎԼͷۀ຿Λϩʔυόϥϯγϯά

    • ΞϥʔτରԠ • 4MBDLͰͷଞνʔϜ͔Βͷ໰͍߹ΘͤରԠ • Ϣʔβ͔Βͷ໰͍߹ΘͤରԠ • ͦͷଞఆৗۀ຿  ΞϥʔτରԠମ੍
  12. ˜-:$PSQPSBUJPO  ΞϥʔτΛ෼ྨ /PJTZ"MFSUT &BTZ&BTZ"MFSUT &BTZ)BSE"MFSUT )BSE)BSE"MFSUT • ൃੜ͙ͯ͢͠௚Δ •

    ؂ࢹܥͷ໰୊౳ͰҰ࣌తʹ ໐͍ͬͯΔ • ݪҼڀ໌͕؆୯ • ରԠखॱ͕໌֬ • ෮چ͕ࣗ෼ୡͰߦ͑Δ • ݪҼڀ໌͕؆୯ • ରԠखॱ͕໌֬Ͱͳ͍ • ෮چ͕ࣗ෼ୡͰߦ͑ͳ͍ • ݪҼڀ໌͕೉͍͠
  13. ˜-:$PSQPSBUJPO  Ξϥʔτͷ࡟ݮ /PJTZ"MFSUT &BTZ&BTZ"MFSUT &BTZ)BSE"MFSUT )BSE)BSE"MFSUT • ൃੜ͙ͯ͢͠௚Δ •

    ؂ࢹܥͷ໰୊౳ͰҰ࣌తʹ ໐͍ͬͯΔ • ݪҼڀ໌͕؆୯ • ରԠखॱ͕໌֬ • ෮چ͕ࣗ෼ୡͰߦ͑Δ • ݪҼڀ໌͕؆୯ • ରԠखॱ͕໌֬Ͱͳ͍ • ෮چ͕ࣗ෼ୡͰߦ͑ͳ͍ • ݪҼڀ໌͕೉͍͠ /P"MFSUT ᶃ ᶃ ᶄ ᶅ ᶅ
  14. ˜-:$PSQPSBUJPO • ൃੜ͙ͯ͢͠௚Δ • ؂ࢹܥͷ໰୊౳ͰҰ࣌తʹ໐͍ͬͯΔ • ରࡦ • Ξϥʔτϧʔϧͷݟ௚͠ •

    ؂ࢹํ๏ͷݟ௚͠ • ؂ࢹݩΛʮ֤Ϋϥελʯˠʮ,BB4νʔϜ͕ॴ༗͢ΔΫϥελʯ΁ • ϢʔβͷϫʔΫϩʔυͷӨڹΛड͚ͣʹ؂ࢹՄೳʹ • ؂ࢹπʔϧΛ࡮৽  /PJTZ"MFSUT
  15. ˜-:$PSQPSBUJPO • ݪҼڀ໌͕؆୯ • ରԠखॱ͕3VOCPPLͰ໌֬ • ෮چ͕ࣗ෼ୡͰߦ͑Δ • Ξϥʔτͱ͍͏ΑΓ΋τΠϧ •

    ରࡦ • ରԠࣗମΛࣗಈԽ • ϝτϦΫεΛϕʔεʹࣗಈͰ෮چૢ࡞Λ࣮ߦ  &BTZ&BTZ"MFSUT
  16. ˜-:$PSQPSBUJPO • ݪҼڀ໌͕؆୯ • ରԠखॱ͕3VOCPPLͰ໌֬Ͱͳ͍ • ෮چ͕ࣗ෼ୡͰߦ͑ͳ͍ • ରࡦ •

    3VOCPPLͷ֦ॆ • ؂ࢹࣗମݟ௚͠ɺෆཁͳ΋ͷ͸࡟আ  &BTZ)BSE"MFSUT
  17. ˜-:$PSQPSBUJPO • ߴ͍҆ఆੑ৴པੑ • 4-*Λ׆༻ͨ͠؂ࢹͱ҆ఆԽͷਪਐ • $164UFBMͷ࡟ݮ • $BOBSZ3FMFBTFͷపఈ •

    #MBTU3BEJVTͷ࡟ݮ • .553ͷ࡟ݮ • τΠϧ࡟ݮ • Ξϥʔτ࡟ݮ • ϦϦʔε࡞ۀͷࣗಈԽ • ఆৗΦϖϨʔγϣϯͷࣗಈԽ • ,VCFSOFUFTΞοϓσʔτͳͲ  ;$1ͷϚΠϧετʔϯ ͞Βʹ ࢖͍΍͍͢ϓϥοτϑΥʔϜΛ ໨ࢦͯ͠
  18. ˜-:$PSQPSBUJPO • ໨త • ;$1ͷ౷Ұతͳ69Λఏڙ͢Δ • ར༻ऀͷηϧϑαʔϏεԽ • Ͱ͖Δ͜ͱ •

    Ϋϥελ࡞੒ • ϊʔυͷεέʔϧΞ΢τΠϯ • ΞυΦϯͷઃఆมߋ • LVCFDUMͷDPOUFYU੾Γସ͑ • ʜ  ৽͍͠$-*[DQDUMͷఏڙ
  19. ˜-:$PSQPSBUJPO • 69վળͱೝ஌ෛՙͷܰݮ • ;$1ͷػೳ͕$-*ͷIFMQΛݟΔ͚ͩͰΘ͔Δ • ར༻ऀͷϢʔεέʔεʹԊͬͨ$-* • ࣗಈԽ •

    ࢖͍͍ͨ࣌ʹ͙͢ʹ࢖͑Δ • ਃ੥ϑΥʔϜ౳Ͱ͸ࣗಈԽͰ͖ͳ͔ͬͨ෦෼·ͰࣗಈԽ • खॱॻͷഇࢭ  ϢʔβʔͷϝϦοτ
  20. ˜-:$PSQPSBUJPO • ʮ;$1ͱ͸Կ͔ʯΛ$-*Λ௨ͯ͡ఆٛ͢Δ͜ͱ͕Ͱ͖Δ • ͜ͷػೳར༻ऀʹఏڙ͚ͯͨͬ͠ ͕ແͤ͘Δ • υϝΠϯϩδοΫΛҰՕॴʹू໿Ͱ͖Δ • ҉໧తͳυϝΠϯϩδοΫΛίʔυʹམͱ͠ࠐΊΔ

    • ಉ͡ϩδοΫΛͭͷϦϙδτϦʹू໿Ͱ͖Δ • ͞ΒͳΔࣗಈԽ • ਃ੥ϑΥʔϜͰ͸೉͔ͬͨࣗ͠ಈԽͳͲ΋Մೳʹ  ;$1؅ཧऀͷϝϦοτ
  21. ˜-:$PSQPSBUJPO • ࢖ͬͯ΋ΒΘͳ͖Όҙຯ͕ͳ͍ • ར༻ऀʹͱͬͯ͸ʮମݧ͕มΘΔ͜ͱʯ͸σϝϦοτ • ରࡦ • ଟ͘ͷਓʹՁ஋͕͋ΔػೳΛఏڙ͢Δ •

    ܧଓతʹར༻ऀͷϑΟʔυόοΫΛूΊɺվળ͢Δ • υΩϡϝϯτͷ֦ॆ • એ఻͢Δ ར༻ऀʹͲ͏࢖ͬͯ΋Β͏͔
  22. ˜-:$PSQPSBUJPO • ΫϥελҎ্ʹεέʔϧ͢Δ·Ͱ • ߴ͍҆ఆੑ৴པੑ • 4-*Λ׆༻ͨ͠؂ࢹͱ҆ఆԽͷਪਐ • $164UFBMͷ෼ࢄ •

    τΠϧ࡟ݮ • ϦϦʔε࡞ۀͷࣗಈԽ • ఆৗΦϖϨʔγϣϯͷࣗಈԽ • ;$1ͰޮՌͷ͋ͬͨϓϥΫςΟε • Ξϥʔτ࡟ݮ • Ξϥʔτͷ෼ྨͱσʔλʹجͮ͘վળख๏ • ΠϚ • 69ΞϓϦέʔγϣϯ։ൃऀ͕։ൃʹूதͰ͖ΔΑ͏ʹ • [DQDUMΛར༻ͨ͠ηϧϑαʔϏεԽͷਪਐ  ·ͱΊ
  23. ˜-:$PSQPSBUJPO • ,BB4͸,TΫϥελΛΧελϜϦιʔεͱͯ͠ఆٛ • ,BB4͸ར༻ऀΫϥελͷ7.ੜ੒͔ΒϓϩϏδϣχϯάΛߦ͍ɺ ͙͢ʹ࢖͑Δ • ,BB4Ϋϥελͱٴͼར༻ऀΫϥελશൠΛ਺໊Ͱ؅ཧ ࢀߟ,BB4ͷߏ੒ͱӡ༻ମ੍ 

    ,BB4νʔϜ ར༻ऀ )7 αʔϏε" /PEF αʔϏε; %/4 4FDSFU ʜ ར༻ऀΫϥελ܈ ϥΠϑαΠΫϧ؅ཧαϙʔτ ,BB4σϓϩΠ ؅ཧ "QQσϓϩΠ ؂ࢹ εέʔϧΠϯɾΞ΢τ ,TόʔδϣϯΞοϓ "QQMJDBUJPO KaaSチームの サポート範囲 $POUBJOFS ,BB4 "QQMJDBUJPO $POUBJOFS "QQMJDBUJPO $POUBJOFS /PEF /PEF /PEF /PEF /PEF 7. 7. 7. 7. 7. 7.