Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SREグループのマネージャーという立場になって真っ先にやったこと

Isao Shimizu
February 25, 2022

 SREグループのマネージャーという立場になって真っ先にやったこと

2022年2月25日(金)
JAWS-UG SRE支部 #2

Isao Shimizu

February 25, 2022
Tweet

More Decks by Isao Shimizu

Other Decks in Technology

Transcript

  1. mixi, Inc. ࣗݾ঺հ ਗ਼ਫ ܄ @isaoshimizu ˔ 2011೥ʙ גࣜձࣾϛΫγΟ ˓

    2011೥ʙ2014೥ SNSʮmixiʯӡ༻ΤϯδχΞ ˓ 2014೥ʙ2018೥ ϞϯελʔετϥΠΫ SRE ˓ 2018೥ʙݱࡏ Ո଒ΞϧόϜ ΈͯͶ SRE Ϛωʔδϟʔ ˔ CloudNative Days Tokyo 2021 Ωʔϊʔτొஃ ˔ SRE NEXT 2020 IN Tokyo ొஃ ˔ AWS Summit Tokyo 2014ˍ2019 ొஃ ˔ AWS Dev Day Tokyo 2018 LTେձ ϕετεϐʔΧʔ ˔ Software Design ಛूهࣄدߘ ͳͲ
  2. mixi, Inc. શੈք ສਓҎ্ͷར༻ऀ ※ (ג) ϛΫγΟௐ΂ɻ iOSɾAndroidΞϓϦొ࿥ऀ਺ɺϒϥ΢β൛ొ࿥ऀ਺ͷ߹ܭ Ո଒ΞϧόϜ ΈͯͶ

    ଟࠃޠରԠɺੈք͔ࠃҎ্ͰαʔϏεఏڙ ೔ຊޠɺӳޠɺதࠃޠʢൟମࣈʣɺؖࠃޠɺϑϥϯεޠ υΠπޠɺεϖΠϯޠʹରԠ ࠃ಺޲͚ Ո଒ΞϧόϜ ΈͯͶ ւ֎޲͚ FamilyAlbum
  3. mixi, Inc. ʮՈ଒ΞϧόϜ ΈͯͶʯͷ43&νʔϜͷੜཱ͍ͪ ˔ ೥݄ੜ·Ε ˔ αʔϏεϦϦʔεޙ ໿೥ܦաͨ͠λΠϛϯά ˔

    ౰࣌ͷࣄۀ෦ͷ૊৫ن໛͸ʙਓ͘Β͍ ˔ 43&νʔϜ͕஀ੜͨ͠౰ॳ͸ࢲؚΊ໊ͯମ੍ ˔ Πϯϑϥͷ՝୊͕ࢁੵ͍ͯͨ͠ ˓ ʮՈ଒ΞϧόϜ ΈͯͶʯͷΠϯϑϥ͸೥ࠒΑΓ"84Λར༻
  4. mixi, Inc. 43&νʔϜʹ͓͚Δ͍··ͰͷऔΓ૊Έࣄྫ ˔ Πϯϑϥͷෛ࠴ղফ ˔ ίϯςφҠߦɺ&,4Ҡߦ ˔ $*$%ͷ੔උ ˔

    ϩά෼ੳج൫ͷ੔උ ˔ *B$ͷ੔උɺਪਐ ˔ ։ൃ؀ڥͷ੔උ ˔ ϞχλϦϯά؀ڥͷ੔උ ˔ ίετ࡟ݮ ˔ Φϯίʔϧ
  5. mixi, Inc. ΦʔτεέʔϧͱσϓϩΠͷ଎౓Ξοϓ EC2ϕʔεͰͷΦʔτεέʔϧɺ ChefʹΑΔσϓϩΠ଴ͪʹΑΓ஗͍ Chef Auto Scale Auto Scale

    Container Registry ίϯϐϡʔτϦιʔεޮ཰Ξοϓɺ ίϯςφΠϝʔδͷ഑ஔʹΑΓ଎౓Ξοϓ EC2 EC2 Container ͞·͟·ͳෛՙ܏޲ʹૉૣ͘ରԠ͠΍͘͢ͳͬͨ ैདྷ ίϯςφԽ AWS OpsWorks
  6. mixi, Inc. *B$Λ҆શʹˍѻ͍΍͘͢ Provisioningπʔϧ Webhook Approve Plan݁Ռ Plan/Apply pull Terraform

    Configurations (.tf files) Provisioning Account Service Accounts Admin Role Terraform AWS CodeBuild terraform.git AWS Lambda Invoke .tf Run Provisioningπʔϧ GitHub
  7. mixi, Inc. ϝτϦΫεऩूपΓͷ੔උ Kubernetes Pod Prometheus (Short Term) New Relic

    Pod Rails (Puma) Pod KEDA Pod New Relic Infrastructure Kubernetes integration newrelic_rpm Grafana Pod Exporter Internet Internet yebeda Amazon Managed Service for Prometheus (Long Term) remote write
  8. mixi, Inc. 43&νʔϜͱͯ͠ͷ՝୊ײ ˔ ೥݄͔Β43&νʔϜͷϦʔμʔʹɻ໨ඪઃఆɺνʔϜϝϯόʔͱͷPOͷ࣮ࢪʢຖिʣͳ ͲΛਐΊ͖ͯͨɻ ˔ ೥݄ 43&άϧʔϓͷϚωʔδϟʔʹɻϐʔϓϧϚωδϝϯτ͕ΑΓॏཁʹɻ ˔

    ࠓ·Ͱɺ֤छ੔උ΍ίετ࡟ݮͳͲͰखҰഋͱͳΓ43&ͷϓϥΫςΟεͱͯ͠Ͱ͖ͯͳ͍͜ͱ͕ଟ ͔ͬͨɻͦ͏͍͏ϑΣʔζͩͬͨͷ͔΋͠Εͳ͍ɻ ˔ ྫ͑͹ɺϙετϞʔςϜ͸ͦΕͳΓʹͰ͖͍ͯΔ͕ɺ4-*4-0ͷࡦఆͱ͔͕͋·ΓͰ͖ͯͳ͍ͳͲɻ ˔ 43&ओಋͰ͋Ε͜Ε΍͖ͬͯͯ͠·ͬͨͱ͜Ζ͕͋Δɻ ˔ ࠓޙ͸։ൃνʔϜ͕ࣗ཯తʹ͞·͟·ͳ໰୊ΛղܾͰ͖ΔΑ͏ʹ43&νʔϜ͕αϙʔτΛ͍ͯ͠ ͖͍ͨɻ
  9. mixi, Inc. 43&άϧʔϓͷϛογϣϯͱόϦϡʔΛࡦఆ ˔ 43&ͷνʔϜ͕ԿͷͨΊʹଘࡏ͢Δͷ͔ɺ૊৫΍αʔϏεʹରͯ͠ͲΜͳՁ஋Λ ఏڙ͢Δ͍ͯ͠Δͷ͔ɺͲΜͳະདྷΛඳ͍͍ͯΔͷ͔ʹ͍ͭͯɺվΊͯߟ͑ͨɻ ˔ 43&ͷϝϯόʔ͓Αͼࣄۀ෦શମ͸΋ͪΖΜɺ૊৫֎ʹ΋ڞ༗Ͱ͖Δ΋ͷʹɻ ˔ ࠾༻ʹ͓͍ͯ૊৫ͷߟ͑ΛΘ͔Γ΍͘͢఻͑ɺΦϯϘʔσΟϯάʹ΋໾ཱ͍ͯͨɻ

    ˔ Ϗδϣϯͷઃఆ͸͍ͬͨΜݟૹΓɻͿͬͪΌ͚೉͍͠ɻ ˔ ଞࣾͷ43&૊৫ͷϛογϣϯ΍όϦϡʔΛଟ͘ࢀߟʹ͍͖ͤͯͨͩ͞·ͨ͠ɻ ˓ ϛογϣϯʹ͍ͭͯͷࣄྫ͸๛෋ɻόϦϡʔͷࣄྫ͸ͱͯ΋গͳ͍ɻ ˔ ϛογϣϯɾόϦϡʔ͸ඞཁʹԠͯ͡มԽ͍͖ͯ͠·͢ɻ
  10. mixi, Inc. ʮՈ଒ΞϧόϜ ΈͯͶʯ43&άϧʔϓͷϛογϣϯɾόϦϡʔ ˔ ੈքதͷՈ଒͕շద͔ͭ҆৺ʹ࢖͑ΔαʔϏεΛఏڙ͢Δɻ ˔ ૊৫͕ࣗ཯తʹ໰୊ղܾͰ͖ΔΑ͏ʹϓϥοτϑΥʔϜΛఏڙ͢Δɻ ˔ ࣄۀͷ੒௕Λ્֐͠ͳ͍Α͏ʹΠϯϑϥίετΛ࠷దԽ͢Δɻ

    ˔ ΦʔϓϯͰ͋Δ͜ͱɻ ˔ ܭଌ͢Δɻ ˔ ࢹ໺Λ޿͛Δɻ ˔ มԽ͠ଓ͚Δɻ ˔ γϯϓϧʹɻ ϛογϣϯ όϦϡʔ ˞࣮ࡍʹ͸ͦΕͧΕʹ͍ͭͯͷৄࡉͳઆ໌͕͋Γ·͕͢ৄࡉ͸࣍ͷϖʔδͰɻ
  11. mixi, Inc. ʢࢀߟʣʮՈ଒ΞϧόϜ ΈͯͶʯ43&άϧʔϓͷόϦϡʔͱৄࡉ ˔ ΦʔϓϯͰ͋Δ͜ͱɻ ˓ ίϛϡχέʔγϣϯɺ՝୊ɺ੒Ռɺࣦഊ͸Ͱ͖ΔݶΓΦʔϓϯʹ͠ɺഓΘΕͨϊ΢ϋ΢͸૊৫಺֎ʹ͓͍ͯΞ΢τϓοτ͠·͠ΐ ͏ɻࣦഊ͸ඇ೉ͤͣɺϙετϞʔςϜͱ޲͖߹͍ɺ૊৫શମʹ͓͚Δࠓޙͷྐͱ͠·͠ΐ͏ɻ ˔

    ܭଌ͢Δɻ ˓ ܭଌΛߦ͍ɺ਺ࣈ΍ࣄ࣮ʹج͍ͮͯٞ࿦ɺධՁ͠ɺܧଓతʹվળ͠·͠ΐ͏ɻ ˔ ࢹ໺Λ޿͛Δɻ ˓ ͨͩͻͱͭͷ͜ͱʹݻࣥͤͣʹશମ૾Λݟͯ෺ࣄΛߟ͑·͠ΐ͏ɻੈքʹ໨Λ޲͚ɺৗʹੈքதͷϢʔβʔʹتΜͰ΋Β͑ΔΑ͏ ͳࢹ఺Λ࣋ͪ·͠ΐ͏ɻ ˔ มԽ͠ଓ͚Δɻ ˓ ੈͷத͸ৗʹมԽΛଓ͚͍ͯ·͢ɻಉ࣌ʹ૊৫ɺݸਓɺγεςϜ΋มԽ͠ଓ͚ͳ͍ͱྑ͍αʔϏεΛఏڙ͠ଓ͚ΒΕͳ͍Ͱ ͠ΐ͏ɻͦͷ࣌ʑͷ՝୊Λ೺Ѳ͠ɺֶͼɺΞοϓσʔτ͍͖ͯ͠·͠ΐ͏ɻ ˔ γϯϓϧʹɻ ˓ γϯϓϧͳ΋ͷ͸ࣗ෼ࣗ਎΍ଞͷϝϯόʔʹͱͬͯཧղ͠΍͘͢ɺվળ͠΍͍͢Ͱ͠ΐ͏ɻෳࡶͳ΋ͷ͸ѻ͍ͨ͘ͳ͘ͳΓɺ ϝϯςφϯε͕͞Εͳ͘ͳΓɺ΍͕ͯෛ࠴ͱͳ͍͖ͬͯ·͢ɻ όϦϡʔ