Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「めんどくさい」をそのままにしない
Search
sioremon
May 24, 2024
0
950
「めんどくさい」をそのままにしない
sioremon
May 24, 2024
Tweet
Share
More Decks by sioremon
See All by sioremon
「若手交流会」をやりませんか
sioremon
0
66
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3.2k
Utilizing Notion as your number one productivity tool
mfonobong
2
190
What's in a price? How to price your products and services
michaelherold
246
13k
Collaborative Software Design: How to facilitate domain modelling decisions
baasie
0
96
The Pragmatic Product Professional
lauravandoore
37
7.1k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
The Illustrated Children's Guide to Kubernetes
chrisshort
51
51k
The Invisible Side of Design
smashingmag
302
51k
BBQ
matthewcrist
89
9.9k
The agentic SEO stack - context over prompts
schlessera
0
550
Statistics for Hackers
jakevdp
799
230k
Color Theory Basics | Prateek | Gurzu
gurzu
0
150
Transcript
「めんどくさい」を そのままにしない id:cd_sioremon / @cd_sioremon 2024/05/24 Road to SRE Next
1
自己紹介 • id:cd_sioremon / @cd_sioremon • はてなのSRE(2024年度新卒入社) • アイドルオタク ◦
ももいろクローバーZ ◦ 私立恵比寿中学 2
3 アルバイト時代にやった Toilの解消
AWSのヘルスイベント通知地獄 4 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成
AWSのヘルスイベント通知地獄 5
AWSのヘルスイベント通知地獄 • 影響を受けるリソース毎に通知を飛ばしてい たため通知(=新規作成されるissue)が膨大に • 一個ずつ手でcloseするという最悪が発生して いた 6
最悪が発生した背景 • 通知の仕組みを作った当初はEC2がほとんど だった • RDSやECSが後から増えてきたために通知さ れるイベントの数が増えてしまった • 直すのがめんどくさくて放置されていた 7
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 8
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 9
AWSのヘルスイベント通知地獄 10 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成 イベント毎に通知を 流すように改善
改善後 • Issueをイベント単位で作成 • 影響を受けるリソースはIssueのコメントに チェックボックス付きで表示 11
改善後 12
通知の様子 13
みなさまのお声 14 今まで大量に通知が出ていたものが一つにまとまり 快適になった。最高 最高!便利!感謝感謝! たまに大量の Issue をぷちぷち消してるのは気持ちよかったのですが、冷静 になるとあれは騙されてました。正気に戻れてよかったです。 表記も似ているため見逃しのないよう確認するのが大変だったのですが、集
約のおかげでオペミスに対する安全性も高まって最高です。
15 まとめ
まとめ • AWSヘルスイベント通知の仕組みが古くなっ たことで, 作成当時とは違い大量の通知が送ら れてくるようになった • 技術的に難しいことはないが, どうにかするの がめんどくさくて放置されていた
16
まとめ • 面倒事にきちんとメスを入れたことでチーム がハッピーに 17
まとめ • 学び ◦ 作った仕組みは進化しなければならない ◦ 仕組みを適切に動かすためには継続的なメンテが不可 欠 ▪ 「動いているからヨシ!」ではない
18
hatena.co.jp/recruit 19 19