Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「めんどくさい」をそのままにしない
Search
sioremon
May 24, 2024
0
890
「めんどくさい」をそのままにしない
sioremon
May 24, 2024
Tweet
Share
More Decks by sioremon
See All by sioremon
「若手交流会」をやりませんか
sioremon
0
57
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Site-Speed That Sticks
csswizardry
10
700
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Transcript
「めんどくさい」を そのままにしない id:cd_sioremon / @cd_sioremon 2024/05/24 Road to SRE Next
1
自己紹介 • id:cd_sioremon / @cd_sioremon • はてなのSRE(2024年度新卒入社) • アイドルオタク ◦
ももいろクローバーZ ◦ 私立恵比寿中学 2
3 アルバイト時代にやった Toilの解消
AWSのヘルスイベント通知地獄 4 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成
AWSのヘルスイベント通知地獄 5
AWSのヘルスイベント通知地獄 • 影響を受けるリソース毎に通知を飛ばしてい たため通知(=新規作成されるissue)が膨大に • 一個ずつ手でcloseするという最悪が発生して いた 6
最悪が発生した背景 • 通知の仕組みを作った当初はEC2がほとんど だった • RDSやECSが後から増えてきたために通知さ れるイベントの数が増えてしまった • 直すのがめんどくさくて放置されていた 7
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 8
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 9
AWSのヘルスイベント通知地獄 10 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成 イベント毎に通知を 流すように改善
改善後 • Issueをイベント単位で作成 • 影響を受けるリソースはIssueのコメントに チェックボックス付きで表示 11
改善後 12
通知の様子 13
みなさまのお声 14 今まで大量に通知が出ていたものが一つにまとまり 快適になった。最高 最高!便利!感謝感謝! たまに大量の Issue をぷちぷち消してるのは気持ちよかったのですが、冷静 になるとあれは騙されてました。正気に戻れてよかったです。 表記も似ているため見逃しのないよう確認するのが大変だったのですが、集
約のおかげでオペミスに対する安全性も高まって最高です。
15 まとめ
まとめ • AWSヘルスイベント通知の仕組みが古くなっ たことで, 作成当時とは違い大量の通知が送ら れてくるようになった • 技術的に難しいことはないが, どうにかするの がめんどくさくて放置されていた
16
まとめ • 面倒事にきちんとメスを入れたことでチーム がハッピーに 17
まとめ • 学び ◦ 作った仕組みは進化しなければならない ◦ 仕組みを適切に動かすためには継続的なメンテが不可 欠 ▪ 「動いているからヨシ!」ではない
18
hatena.co.jp/recruit 19 19