Upgrade to Pro — share decks privately, control downloads, hide ads and more …

k8sで構築する大規模時系列データのスケーラブルな分散処理

Hiroki Sakamoto
August 31, 2024
4

 k8sで構築する大規模時系列データのスケーラブルな分散処理

Hiroki Sakamoto

August 31, 2024
Tweet

Transcript

  1. ࣌ܥྻσʔλ ಛ௃  w άϥϑඳըͳͲΛ͢Δͷʹదͨ͠σʔλ w ϞχλϦϯάͳͲʹΑ͘࢖༻͞ΕΔ w ॻ͖ࠐΈ)FBWZͰޙ͔Βߋ৽͸͞Εͳ͍ w

    ࠷ۙͷ΋ͷ΄ͲΑ͘ΞΫηε͞ΕΔ ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ
  2. "SDIJUFDUVSF0WFSWJFX  "HHSFHBUPS *OHFTUPS *.%# 5BHT*OEFYFS &MBTUJDTFBSDI $BTTBOESB *O.FNPSZ%BUBTUPSF 1FSTJTUFOU%BUBTUPSF

    $PNQVUJOH #BUDI 3FBE1BUI 8SJUF1BUI 4BNQMFEBUBTUPSF .FUBEBUBTUPSF ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ
  3. "SDIJUFDUVSF0WFSWJFX  "HHSFHBUPS *OHFTUPS *.%# 5BHT*OEFYFS &MBTUJDTFBSDI $BTTBOESB *O.FNPSZ%BUBTUPSF 1FSTJTUFOU%BUBTUPSF

    $PNQVUJOH #BUDI 3FBE1BUI 8SJUF1BUI 4BNQMFEBUBTUPSF .FUBEBUBTUPSF ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ಡΈऔΓ"1*αʔόʔ
  4. "SDIJUFDUVSF0WFSWJFX  "HHSFHBUPS *OHFTUPS *.%# 5BHT*OEFYFS &MBTUJDTFBSDI $BTTBOESB *O.FNPSZ%BUBTUPSF 1FSTJTUFOU%BUBTUPSF

    $PNQVUJOH #BUDI 3FBE1BUI 8SJUF1BUI 4BNQMFEBUBTUPSF .FUBEBUBTUPSF ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ॻ͖ࠐΈ"1*αʔόʔ
  5. "SDIJUFDUVSF0WFSWJFX  "HHSFHBUPS *OHFTUPS *.%# 5BHT*OEFYFS &MBTUJDTFBSDI $BTTBOESB *O.FNPSZ%BUBTUPSF 1FSTJTUFOU%BUBTUPSF

    $PNQVUJOH #BUDI 3FBE1BUI 8SJUF1BUI 4BNQMFEBUBTUPSF .FUBEBUBTUPSF ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ 4BNQMFσʔλετΞ
  6. "SDIJUFDUVSF0WFSWJFX  "HHSFHBUPS *OHFTUPS *.%# 5BHT*OEFYFS &MBTUJDTFBSDI $BTTBOESB *O.FNPSZ%BUBTUPSF 1FSTJTUFOU%BUBTUPSF

    $PNQVUJOH #BUDI 3FBE1BUI 8SJUF1BUI 4BNQMFEBUBTUPSF .FUBEBUBTUPSF ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ .FUBEBUBσʔλετΞ
  7. ॻ͖ࠐΈͷྲྀΕ  *OHFTUPS ϦΫΤετΛड৴ ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ DQV@VTBHF\IPTUlIPHFz^ 57 57 *.%# 5BHT*OEFYFS

    &MBTUJDTFBSDI 4BNQMF͸TBNQMFTUPSF΁ .FUBEBUB͸NFUBEBUBTUPSF΁ 57 57 DQV@VTBHF\IPTUlIPHFz^ 4BNQMFEBUB .FUBEBUB
  8. ಡΈࠐΈͷྲྀΕ  ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ࣌ؒҎ಺ ࣌ؒҎ߱ *.%# $BTTBOESB ϦΫΤετΛड৴ "HHSFHBUPS SBUF

    SFRVFTU@DPVOU\IPTUdlIPHF z^<N> .FUSJDTͷ*%Λݩʹɺ֘౰͢Δ4BNQMFΛऔಘ͢Δ ݕࡧ͢Δ࣌ؒʹԠͯ͡ɺ *O.FNPSZ͔ 1FSTJTUFOU%#Λબ୒͢Δ
  9. "SDIJUFDUVSF0WFSWJFX  "HHSFHBUPS *OHFTUPS *.%# 5BHT*OEFYFS &MBTUJDTFBSDI $BTTBOESB *O.FNPSZ%BUBTUPSF 1FSTJTUFOU%BUBTUPSF

    $PNQVUJOH #BUDI 3FBE1BUI 8SJUF1BUI 4BNQMFEBUBTUPSF .FUBEBUBTUPSF ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ
  10. "SDIJUFDUVSF0WFSWJFX  "HHSFHBUPS *OHFTUPS *.%# 5BHT*OEFYFS &MBTUJDTFBSDI $BTTBOESB *O.FNPSZ%BUBTUPSF 1FSTJTUFOU%BUBTUPSF

    $PNQVUJOH #BUDI 3FBE1BUI 8SJUF1BUI 4BNQMFEBUBTUPSF .FUBEBUBTUPSF ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ͜͜ͷӡ༻ෛ୲͕ॏ͗͢Δ
  11. $BTTBOESBӡ༻ͷ໰୊఺  w ίετޮ཰͕͋·ΓΑ͘ͳ͍ w ͢Ͱʹ୆ͷϊʔυΛ࣋ͭڊେΫϥελɺ೥ؒԯ਺ઍສԁͷίετ w 3FQMJDBUJPO΍ɺ$PNQBDUJPOͷͨΊʹ༨෼ͳ%JTLαΠζΛ֬อ͓ͯ͘͠ඞཁ͕͋Δ w εέʔϧΞ΢τͷϋʔυϧ͕ߴ͍

    w ༧ࢉ্αʔό֬อ͕ݫ͍͠ w 0QTΛࣗಈԽ͍ͯͯ͠΋͕͔͔࣌ؒΓɺϚϯύϫʔ΋͋Δఔ౓ඞཁ w ࣌ܥྻσʔλ͸ٸܹʹ૿͑Δ͜ͱ΋͋ΔɺͰ΋มԽʹରԠͰ͖ͳ͍ w $BTTBOESBͷ஌ݟ͕ಛఆϝϯόʔʹภ͍ͬͯΔ ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ
  12. ΦϒδΣΫτετϨʔδͷར఺  w ѹ౗తίετޮ཰ੑ w ͖͔ͬΓ࢖༻ྔͰ՝ۚ͞ΕΔ w ετϨʔδͷؔ৺ࣄΛҠৡͰ͖Δ w ࣗ෼Ͱ3FQMJDBUJPOͨ͠ΓΫϥελϦϯά͢Δඞཁ͕ͳ͍

    w ΩϟύγςΟ΋๛෋ʹ͋ΓɺεέʔϥϏϦςΟ͕ߴ͍ w (SBGBOB੡඼Λ࢝Ίͱͯ͠ɺ࣌ܥྻσʔλϕʔεͰͷ࣮੷΋๛෋ ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ
  13. ୲อ͍ͨ͠ػೳ  w σʔλͷॻ͖ࠐΈ w ୠ͠ϦΞϧλΠϜॻ͖ࠐΈ͸*.%#͕͋ΔͷͰෆཁ w σʔλͷಡΈऔΓ w σʔλͷ55-؅ཧ

    w ظݶͷ੾ΕͨσʔλΛࣗಈͰ࡟আͰ͖ΔΑ͏ʹ͍ͨ͠ ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ
  14. લఏ৚݅  w $BTTBOESBͷ໾ׂΛҰ෦୲͏͕׬શஔ׵͸͠ͳ͍ w 2VFSZෛՙɺϨΠςϯγͷ؍఺͔ΒΦϒδΣΫτετϨʔδ͸෼ੳ༻ʹߜ Δ w ࣌ؒҎ಺ͷσʔλ͸*.%#ɺिؒҎ಺͸$BTTBOESBɺͦΕҎ߱ΛΦϒδ ΣΫτετϨʔδ͔Βऔಘ͢Δ

    w ϨΠςϯγ͸͋Δఔ౓ଥڠͰ͖Δ w ࢖͏ΦϒδΣΫτετϨʔδ͸1SJWBUF$MPVEͷ4ޓ׵ͷ΋ͷ ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ
  15. Πϝʔδ  "HHSFHBUPS *OHFTUPS *.%# 5BHT*OEFYFS &MBTUJDTFBSDI $BTTBOESB *O.FNPSZ%BUBTUPSF 1FSTJTUFOU%BUBTUPSF

    $PNQVUJOH #BUDI 3FBE1BUI 8SJUF1BUI 4BNQMFEBUBTUPSF .FUBEBUBTUPSF ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ΦϒδΣΫτ ετϨʔδ /FX
  16. ಡΈࠐΈͷྲྀΕ ࠶ܝ  ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ࣌ؒҎ಺ ࣌ؒҎ߱ *.%# $BTTBOESB ϦΫΤετΛड৴ "HHSFHBUPS

    SBUF SFRVFTU@DPVOU\IPTUdlIPHF z^<N> .FUSJDTͷ*%Λݩʹɺ֘౰͢Δ4BNQMFΛऔಘ͢Δ ݕࡧ͢Δ࣌ؒʹԠͯ͡ɺ *O.FNPSZ͔ 1FSTJTUFOU%#Λબ୒͢Δ
  17. ΦϒδΣΫτετϨʔδ͕୲͏໾ׂ  ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ࣌ؒҎ಺ ࣌ؒdिؒલ *.%# $BTTBOESB ϦΫΤετΛड৴ "HHSFHBUPS SBUF

    SFRVFTU@DPVOU\IPTUdlIPHF z^<N> $BTTBOESBಉ༷.FUSJDTͷ*%͔Β4BNQMFΛऔಘ͢Δ%#ʹͳΔ ΦϒδΣΫτ ετϨʔδ िؒҎ߱d
  18. σʔλߏ଄ .FUSJDT͝ͱʹ࣌ؒ෼ͷσʔλΛ֨ೲͨ͠ϑΝΠϧΛ࡞Δʁ  ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ *%ͷ ѹॖ͞Εͨ 4BNQMF *%ͷ ѹॖ͞Εͨ 4BNQMF

    *%ͷ ѹॖ͞Εͨ 4BNQMF *%ͷ ѹॖ͞Εͨ 4BNQMF ΦϒδΣΫτετϨʔδ্ #VDLFU͋ͨΓ ສΦϒδΣΫτͷ੍໿͕͋Δ ԯ.FUSJDTҎ্͋ΔͷͰ.FSHF͸ඞਢ
  19. ࠷ऴతͳσʔλߏ଄  ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ΦϒδΣΫτετϨʔδ CVDLFU@@ CMPDL@EFGBVMU@SQJE@@@ సஔΠϯσοΫε 4BNQMFϑΝΠϧ CMPDL@EFGBVMU@SQJE@@@ సஔΠϯσοΫε

    4BNQMFϑΝΠϧ CMPDL@EFGBVMU@SQJE@@@ సஔΠϯσοΫε 4BNQMFϑΝΠϧ CVDLFU@@ CMPDL@EFGBVMU@SQJE@@@ సஔΠϯσοΫε 4BNQMFϑΝΠϧ CMPDL@EFGBVMU@SQJE@@@ సஔΠϯσοΫε 4BNQMFϑΝΠϧ CMPDL@EFGBVMU@SQJE@@@ సஔΠϯσοΫε 4BNQMFϑΝΠϧ
  20. %FMUB&ODPEF  ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ ૉͷσʔλͰ͸ͳ͘ɺલϨίʔυ஋ͱͷࠩ෼͚ͩอଘ͢Δ #FGPSF "GUFS *% CZUFd *% 4UBSUҐஔ

    *% CZUFd *% CZUFd *% CZUFd *%  *% 4UBSUҐஔ           
  21. ॻ͖ࠐΈॲཧͷσβΠϯ  ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ #BUDI 4FSWFS #BUDI 4FSWFS #BUDI 4FSWFS #MPDL%VNQFS

    #MPDL%VNQFS #MPDL%VNQFS ৽ͨʹ#MPDL%VNQFSͱ͍͏αʔϏεΛ࡞Γɺ ू໿ͱΦϒδΣΫτετϨʔδ΁ͷग़ྗͷ໾ׂΛ୲ΘͤΔ
  22. ॻ͖ࠐΈॲཧͷσβΠϯ  ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ #BUDI 4FSWFS #BUDI 4FSWFS #BUDI 4FSWFS #MPDL%VNQFS

    #MPDL%VNQFS #MPDL%VNQFS #MPDL໊ͷ)BTI஋Λݩʹͯ͠ɺ ಉ͡#MPDL͸ಉ͡ΠϯελϯεʹඞͣϧʔςΟϯά͞ΕΔΑ͏ʹ͢Δ CMPDL"୲౰ CMPDL#୲౰ CMPDL$୲౰
  23. -FWFM%#ॻ͖ࠐΈ໰୊΁ͷରॲ  w .FNUBCMFͷΩϟύγςΟΛ޿͛ɺ445BCMFXSJUFͷස౓ΛԼ͛Δ w ίϯύΫγϣϯΛൃੜ͠ͳ͍Α͏ʹ͢Δ ্ݶ445BCMF਺Λ*OU."9ʹ  w ͢΂ͯͷσʔλ͸Ұ౓͚ͩॻ͖ࠐ·ΕɺҰ౓͚ͩಡΈࠐ·Εɺߋ৽ɺ࡟আ͸

    ൃੜ͠ͳ͍ͨΊɺίϯύΫγϣϯͰಘΒΕΔϝϦοτ͕ͳ͍ɻࢭΊΔ͜ͱ ͰΑΓॻ͖ࠐΈʹಛԽͤ͞Δ ŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠŠ