Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「めんどくさい」をそのままにしない
Search
sioremon
May 24, 2024
0
870
「めんどくさい」をそのままにしない
sioremon
May 24, 2024
Tweet
Share
More Decks by sioremon
See All by sioremon
「若手交流会」をやりませんか
sioremon
0
57
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Done Done
chrislema
184
16k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
820
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Speed Design
sergeychernyshev
32
1k
Adopting Sorbet at Scale
ufuk
77
9.5k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Transcript
「めんどくさい」を そのままにしない id:cd_sioremon / @cd_sioremon 2024/05/24 Road to SRE Next
1
自己紹介 • id:cd_sioremon / @cd_sioremon • はてなのSRE(2024年度新卒入社) • アイドルオタク ◦
ももいろクローバーZ ◦ 私立恵比寿中学 2
3 アルバイト時代にやった Toilの解消
AWSのヘルスイベント通知地獄 4 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成
AWSのヘルスイベント通知地獄 5
AWSのヘルスイベント通知地獄 • 影響を受けるリソース毎に通知を飛ばしてい たため通知(=新規作成されるissue)が膨大に • 一個ずつ手でcloseするという最悪が発生して いた 6
最悪が発生した背景 • 通知の仕組みを作った当初はEC2がほとんど だった • RDSやECSが後から増えてきたために通知さ れるイベントの数が増えてしまった • 直すのがめんどくさくて放置されていた 7
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 8
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 9
AWSのヘルスイベント通知地獄 10 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成 イベント毎に通知を 流すように改善
改善後 • Issueをイベント単位で作成 • 影響を受けるリソースはIssueのコメントに チェックボックス付きで表示 11
改善後 12
通知の様子 13
みなさまのお声 14 今まで大量に通知が出ていたものが一つにまとまり 快適になった。最高 最高!便利!感謝感謝! たまに大量の Issue をぷちぷち消してるのは気持ちよかったのですが、冷静 になるとあれは騙されてました。正気に戻れてよかったです。 表記も似ているため見逃しのないよう確認するのが大変だったのですが、集
約のおかげでオペミスに対する安全性も高まって最高です。
15 まとめ
まとめ • AWSヘルスイベント通知の仕組みが古くなっ たことで, 作成当時とは違い大量の通知が送ら れてくるようになった • 技術的に難しいことはないが, どうにかするの がめんどくさくて放置されていた
16
まとめ • 面倒事にきちんとメスを入れたことでチーム がハッピーに 17
まとめ • 学び ◦ 作った仕組みは進化しなければならない ◦ 仕組みを適切に動かすためには継続的なメンテが不可 欠 ▪ 「動いているからヨシ!」ではない
18
hatena.co.jp/recruit 19 19