Upgrade to Pro — share decks privately, control downloads, hide ads and more …

noteのサービスインフラの “式年遷宮” の取り組み #notetechmeetup

11979cbee3e3eedbdf9a83d75bade96d?s=47 varu3
April 22, 2022

noteのサービスインフラの “式年遷宮” の取り組み #notetechmeetup

note tech meetup #2 エンジニアLT大会でLTしたスライドです

Youtube:
https://www.youtube.com/watch?v=U5Z23eFyCL0

11979cbee3e3eedbdf9a83d75bade96d?s=128

varu3

April 22, 2022
Tweet

More Decks by varu3

Other Decks in Programming

Transcript

  1. noteͷαʔϏεΠϯϑϥͷ “ࣜ೥ભٶ” ͷऔΓ૊Έ

  2. 2 גࣜձࣾυϦίϜͰ֤छιʔγϟϧήʔϜͷΠϯϑϥΛ୲౰ͨ͠ޙɺ2020 ೥ΑΓnoteגࣜձࣾʹೖࣾɻೖࣾޙ͸AWSͷίετ࡟ݮɺnoteͷػೳ͕ ಈ͍͍ͯΔ֤छαʔϏεͷγεςϜઃܭɺϝτϦΫεɾΤϥʔ؂ࢹͷ੔උ ΍σϓϩΠαΠΫϧͷվળͳͲϓϩμΫτ։ൃҎ֎ͷԼճΓ෦෼ΛΑΓΑ ͘͢Δ͜ͱʹऔΓ૊ΜͰ͍·͢ɻ झຯ • ొࢁɾτϨΠϧϥϯχϯά ◦

    ͜ͳ͍ͩτϨϥϯͷେձʹग़ͯ15kmʢதڃίʔεʣΛ૸ͬͯ ͖·ͨ͠ɻ଍Λ௧Ίͯݱࡏɺྍཆத…ɻ͖ͬ͞ࢄาͨ͠Β௧ SRE-T
 தଜ Ꮺ ʢvaru3ʣ
  3. note inc. noteʹ͓͚ΔγεςϜͷ ”ࣜ೥ભٶ” ͱ͸ 3

  4. note inc. noteͷΤϯδχΞνʔϜ͕2022೥ʹ޲͚ͯ௅ઓ͢Δɺॏཁ՝୊9બ 4 https://note.jp/n/n39681098a0d2 • ࡢ೥຤ʹൃද͞Εͨ note هࣄ •

    ʮίϯςφج൫΁ͷҠߦΛ࣮ࢪ͠ӡ༻ ޮ཰ԽɾলྗԽΛ࣮ݱʯ͕ॏཁ՝୊ͷ Ұͭͱͯ͠ڍ͛ΒΕͨ • ࡢ೥຤͔ΒϓϩδΣΫτ͕ελʔτ ͠ɺSREνʔϜΛத৺ʹঃʑʹҠߦ͠ ͍ͯΔ
  5. note inc. ҰൠతͳίϯςφԽͷϝϦοτ 5 • σϓϩΠαΠΫϧͷվળ ◦ CI/CDΛར༻ͨ͠σϓϩΠͷࣗಈԽ ◦ Blue-GreenσϓϩΠɺCanaryσϓϩΠ


    • ։ൃ؀ڥͷվળɺӡ༻ͷ༰қԽɺetc… ◦ ։ൃ؀ڥΛ༰қʹߏஙͰ͖Δ ◦ Kubernetesͷ࢓૊ΈΛར༻ͯ͠ӡ༻ͷࣗಈԽ
  6. note inc. ͦΕ͚ͩʁ 6 ϓϩδΣΫτΛਐΊ͍ͯ͘தͰɺͦΕҎ֎ͷϝϦοτ΋ݟ͖͑ͯͨ

  7. note inc. ιϑτ΢ΣΞࣜ೥ભٶͱ͍͏ߟ͑ํ 7 • ࣜ೥ભٶ ◦ ҏ੎ਆٶͰߦΘΕΔɺ20೥͓͖ʹશͯͷ఼ࣾΛ଄Γସ ͑Δߦࣄͷ͜ͱ ◦

    ଱༻೥਺ͷ૿Ճ ΍ ٕज़ͷܧঝ ͷͨΊ
 • γεςϜͰ΋ಉ͜͡ͱ͕͍͑Δ ◦ AWS ᴈ໌ظ͔Βӡ༻͞Ε͍ͯΔྺ࢙͋Δ note ͷγες Ϝ ◦ ౰࣌ͱࠓͰ͸ϕετϓϥΫςΟε͕ҟͳΔ෦෼΋͋Δ
  8. note inc. ιϑτ΢ΣΞࣜ೥ભٶͱ͍͏ߟ͑ํ 8 • ʮnote ͬͯͲ͏΍ͬͯಈ͍͍ͯΔΜ͚ͩͬʁʯ ʮͳΜͰ͜͏ͳ͍ͬͯΔΜ͚ͩͬʁʯΛਂ͘஌ ΓɺαʔϏεͷશ༰ΛखதʹऩΊΔ͜ͱ͕Ͱ͖Δ
 •

    ͨͩ "γεςϜΛҠߦ͢Δ" ͚ͩͰͳ͘ɺݹ͔͘ Β͋ΔγεςϜશମͷঠѲͱϦϑΝΫλϦϯάΛ ಉ࣌ʹਐΊ͍ͯΔ
  9. note inc. γεςϜશମͷঠѲͱϦϑΝΫλϦϯάͷͨΊʹ΍͍ͬͯΔ͜ͱ • ωοτϫʔΫߏ੒ͷ࡮৽ • Τϥʔ௨஌ / ϞχλϦϯά /

    ϩΪϯά؀ڥͷ੔ཧ • ύϑΥʔϚϯεΛܭଌ͠ɺεέʔϧΞ΢τ΍ΩϟύγςΟͷݟ௚͠ • σϓϩΠ଎౓ͱ҆ఆੑͷվળ • rakeλεΫͰ࣮ߦ͞ΕΔόονॲཧͷ੔ཧ • ࢖ΘΕ͍ͯͳ͍(͔΋͠Εͳ͍) gem Λ୨Է͠ • ։ൃʹඞཁͳ؀ڥΛύοͱ࡞ΕΔΑ͏ʹ • طଘͷCI؀ڥ(Jenkins) ʹґଘ͍ͯ͠Δ෦෼Λղফ • etc…
  10. note inc. EKSҠઃϓϩδΣΫτ 10

  11. note inc. noteͷEKSҠઃϓϩδΣΫτͷ֓ཁ 11 • noteͷ֤ΞϓϦέʔγϣϯͷ࣮ߦج൫ΛEKS(Kubernetes)ʹҠઃ͢Δ • note͸ෳ਺αʔϏεʹ෼͔ΕͯEC2্ͰΞϓϦέʔγϣϯ͕࣮ߦ͞Ε͍ͯΔ ◦ ϑϩϯτΤϯυ:

    Nuxt.js౳ ◦ όοΫΤϯυ: Ruby on Rails ◦ όον: Ruby on Rails (rakeλεΫ) ◦ ඇಉظϫʔΧʔ: Sidekiq • ͜ΕΒΛॱ൪ʹEKS΁Ҡઃ͍͖ͯ͠ɺ
 noteͷαʔϏεશମͷӡ༻ޮ཰ԽɾলྗԽΛ࣮ݱ͢Δ
  12. note inc. EKSΫϥελͷߏ੒ • ୯ҰΫϥελͷϚϧνςφϯτߏ੒Λ࠾ ༻ ◦ ΞϓϦέʔγϣϯͷ໾ׂ͝ͱʹ NodeGroupΛ෼͚Δ ◦

    namespaceͱNodeGroup͸1:1ͱ͠ɺ nodeselectorͰىಈ͢ΔNodeΛ੍ޚ͢Δ ◦ Pod͸IPΞυϨεͷރׇΛ๷͙ͨΊɺη ΧϯμϦCIDR(100.XX.XX.XX) Ͱىಈ
  13. note inc. ֤αʔϏε͝ͱͷҠઃॱ όον: Ruby on Rails(rakeλεΫ + cron) όοΫΤϯυ:

    Ruby on Rails ϑϩϯτΤϯυ: Nuxt.js౳ Worker: Ruby on Rails(Sidekiq) Ҡߦ ೉қ౓ Ҡߦॱ ※ఆࠁʹॲཧ͕࣮ߦ͢ΔͨΊͷγεςϜ ΠϚίί ߴ ௿
  14. note inc. 2021೥10݄~ ~2022೥6݄ 1. ཁ݅Λຬͨͨ͢Ίͷػೳ ։ൃ 2. ؂ࢹɾΞϥʔτݕ஌ͷ࢓ ૊ΈΛߏங

    3. όονͷςετɾ֬ೝ࡞ۀ • OneshotδϣϒͰͷόονͷ࣮ߦ • beta؀ڥ΁ͷσϓϩΠ όονͷҠઃਐḿ • PodͷΞϥʔτݕ ஌(Datadog) • ΞϓϦέʔγϣϯ ͷΞϥʔτݕ஌ (Sentry) • OneshotδϣϒΛ ࣮ߦͰ͖Δ؀ڥͷ ։ൃ • cronjob-managerͷ ։ൃ 4. Ҡઃ • ຊ൪؀ڥ΁ͷσϓϩΠ • σϓϩΠޙͷ؂ࢹ
  15. note inc. 1. ཁ݅Λຬͨͨ͢Ίͷ ػೳͷ։ൃ 15

  16. note inc. OneshotδϣϒΛ࣮ߦͰ͖Δ؀ڥ: k8s-job-executor • Slackbot্͔ΒίϚϯυΛ࣮ߦͰ͖Δػ ೳΛ։ൃͨ͠ • ίϚϯυΛ࣮ߦ͢ΔͱɺPod্ཱ͕͕ͪ ΓίϚϯυΛ࣮ߦ͢Δ

    • ग़ྗ͸CloudWatch Logsʹू໿ͯ͠ɺ Managed Service for GrafanaͰࢀর͢Δ • GrafanaͰ͸Pod͝ͱɺΞϓϦέʔγϣ ϯ͝ͱʹϩάͷࢀর͕Մೳ
  17. note inc. cronjob-manager(Kubernetes Custom Controller) • KubernetesͰ͸CronJob͝ͱ(1 batch͝ͱʣʹ 1 manifest

    Λ࡞ ੒͢Δඞཁ͕͋Δ • ҰͭͷίϯςφΠϝʔδΛ࡞੒͢ΔͨͼʹશͯͷCronJobͷΠ ϝʔδΛॻ͖׵͑Δͷ͸େม…(Ҏલ͸γΣϧܳΛۦ࢖͍ͯ͠ ͨʣ • cronjob-managerͱ͍͏Kubernetes Custom ControllerΛ։ൃ • ҰͭͷmanifestͰෳ਺ͷCronJobΛ੍ޚ͢Δ͜ͱ͕Ͱ͖Δ • CronJobManagerΛ࡞੒͢ΔͱCronJob͕ࣗಈͰ࡞ΒΕΔ
  18. note inc. 2. ؂ࢹɾΞϥʔτݕ஌ͷ࢓૊ ΈΛߏங 18

  19. note inc. Ξϥʔτݕ஌ • Node, PodϨϕϧͷΞϥʔτͱΞϓϦέʔγϣϯϨϕϧͷΞϥʔτͰݕ஌ ख๏Λ෼͚Δ • Node, PodϨϕϧͷΞϥʔτ

    ◦ DatadogΛར༻͢Δ ◦ DatadogAgentΛDaemonsetͱͯ͠σϓϩΠͯ͠ɺϝτϦΫεΛ؂ࢹ • ΞϓϦέʔγϣϯϨϕϧͷΞϥʔτ ◦ SentryΛར༻͢Δ ◦ ΞϓϦέʔγϣϯͰग़ͨbacktraceΛৄࡉʹ෼ੳͰ͖Δ • Կ͔໰୊͕ൃੜͨ͠৔߹ʹ͸͍ͣΕ͔ͷΞϥʔτͰݕ஌͞ΕΔ
  20. note inc. Ξϥʔτݕ஌: ΞΫγϣϯϨϕϧ • ࠓ·Ͱ1ͭͷchannelʹਨΕྲྀ͠ʹͳ͍ͬͯͨΞϥʔτΛΞΫγϣϯϨϕϧ͝ͱʹ੔ཧ • ֤Ϩϕϧຖʹ̏ͭͷSlack channelʹͦΕͧΕ௨஌͢ΔΑ͏ʹͨ͠ info

    • ରԠෆཁͳΞϥʔτ • جຊతʹ৘ใΛऩू ͢Δ͚ͩ • ো֐ൃੜ࣌΍ಈ࡞֬ ೝͷͨΊʹར༻͢Δ ৘ใ warn • ཌ೔·ͰʹରԠ͕ඞ ཁͳΞϥʔτ • ۓٸͷରԠ͸ෆཁͩ ͕์ஔ͢ΔͱϢʔ βʔʹӨڹ͕ग़͔Ͷ ͳ͍΋ͷ critical • ଈ࣌ରԠ͕ඞཁͳΞϥʔτ • ։ൃΤϯδχΞશһ͕ΈΔ • Կ͔͠ΒϢʔβʔʹӨڹ͕ ग़࢝Ί͍ͯΔՄೳੑ͕͋Δ ΋ͷ
  21. note inc. Ξϥʔτݕ஌: criticalอશ࡞ۀ • critical = ੟Ҭͱͯ͠ɺৗʹ༨ܭͳΞϥʔτ͕ඈ͹ͳ͍Α͏ʹ஫ҙΛ෷͏எ·͵౒ྗ͕ඞཁ • ༨ܭͳΞϥʔτ͕૿͍͑ͯ͘ͱɺΞϥʔτʹରͯ͠ԿΛ͍͍͔ͯ͠Θ͔Βͳ͘ͳΔ

    • ͍ͦͯͣ͠Ε͸ɺ୭΋ͦͷνϟϯωϧΛݟͳ͘ͳ͍ͬͯ͘…
 • ͦ͏ͳΒͳ͍Α͏ʹɺᮢ஋΍ΞϥʔτఆٛΛఆظతʹݟ௚͠ɺৗʹద੾ͳΞϥʔτͱͳΔΑ͏ ৺͕͚Δ • ͞ΒʹΑ͘͢Δʹ͸ʢ՝୊ʣ ◦ ि࣍ͷϨϙʔςΟϯάͰ͜ΜͳΞϥʔτ͕Կ݅ى͖͍ͯͨͱ͍͏ͷΛαϚϦԽ ◦ Ξϥʔτ਺Λఆ఺؍ଌ͠ɺΞϥʔτͷ૿ݮΛৗʹҙ͍ࣝͯ͘͠
  22. note inc. 3. όονͷςετɾ֬ೝ࡞ۀ 4. Ҡઃ 22

  23. note inc. όονͷςετɾ֬ೝ࡞ۀ batchͷத਎Λ֬ೝ k8s-job-executorͰ࣮ ߦ͢Δ on beta Τϥʔ͕ग़͍ͯͳ͍͔ ϩάΛ֬ೝ͢Δ

    ࣮ߦ࣌ؒ౳ͷڍಈΛ֬ ೝ cronjob-managerͰσ ϓϩΠ͢Δ on beta cronjob-managerͰσ ϓϩΠ͢Δ on ຊ൪ ͋Δఔ౓ͨ·ͬͨΒ 1 batch͝ͱʹ͜ͷα ΠΫϧΛ܁Γฦ͢ • batchͷ਺͸શ෦Ͱ໿300 • SRE-TͱϓϩμΫτ։ൃνʔϜͰ ख෼͚ͯ͠ɺҰͭͣͭ֬ೝ࡞ۀΛ ࣮ࢪத • priorityͷ௿͍΋ͷ͔Βॱ࣍ɺEKS ্Ͱಈ͔͍ͯ͠Δ
  24. note inc. 24 47 / 295

  25. note inc. ·ͱΊ 25

  26. note inc. EKS(Kubernetes)ʹͯ͠Α͔ͬͨͱ͜Ζ Jobͷ࣮ߦཤྺ͕͙֬͢ೝͰ͖Δ • kubectl get jobs ίϚϯυͰ௚ۙʹ࣮ߦ ͞ΕͨJobͷཤྺ͕͙͢ʹ֬ೝͰ͖Δ

    • աڈͷ࣮ߦϩάͳͲͷৄࡉΛJob͝ͱ ʹݸผʹ֬ೝ͢Δ͜ͱ͕Ͱ͖Δ • ࣦഊͨ͠৔߹ͷ࠶࣮ߦ΋༰қ Job͝ͱʹࡉ੍͔͍ޚ͕Մೳ • Job͝ͱʹCPU / Memoryͷ্ݶ΍Ϧ ΫΤετྔΛࢦఆͰ͖Δ • ࠶࣮ߦճ਺΍ฒྻ࣮ߦ਺ͳͲͷࡉ͔͍ ੍ޚ͕Մೳ • ಛఆͷJob͚ͩFargateͰ࣮ߦ͢Δɺͳ Ͳͷ͜ͱ΋Մೳʢࠓޙͷ՝୊ʣ
  27. note inc. noteͷ”ࣜ೥ભٶ”ͰͷϝϦοτ • ӡ༻ͷརศੑ ◦ ΄΅શͯͷಈ࡞ΛSlack͔Βૢ࡞͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͨ͜͠ͱͰརศੑ͕޲্ͨ͠ (ίϯςφͷϏ ϧυɺίϚϯυͷ࣮ߦɺϩάͷࢀর౳ʣ ◦

    ϩάͷࢀর΍ݕࡧͳͲ͕Grafana౳ͷ֎෦πʔϧͰ֬ೝͰ͖ΔΑ͏ʹͳͬͨ • ো֐ͷൃݟੑ͕޲্ ◦ Datadog΍SentryͷϞχλϦϯά؀ڥΛ੔͑ͨ͜ͱͰɺCronJobͷಈ࡞ʹ໰୊͕͋ͬͨ৔߹ʹ͙͢ʹݕ ஌͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳͬͨ ◦ ֤ΞϥʔτΛΞΫγϣϯϨϕϧ͝ͱʹ੔ཧ͠ɺΦϯίʔϧ؀ڥ͕վળͨ͠ • όονॲཧࣗମͷվળɾݟ௚͠ ◦ ςετσʔλͷͳ͍΋ͷɺద੾ͳϩά͕ग़ྗ͞Ε͍ͯͳ͍΋ͷͳͲΛվળ
  28. note inc. ·ͩ·ͩ͜Ε͔Β͕ ՂڥͰ͕͢ ҆ఆͨ͠αʔϏεΛఏڙͰ͖ΔΑ͏ ʹؤு͍͖ͬͯ·͢ 28