Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「めんどくさい」をそのままにしない
Search
sioremon
May 24, 2024
0
780
「めんどくさい」をそのままにしない
sioremon
May 24, 2024
Tweet
Share
More Decks by sioremon
See All by sioremon
「若手交流会」をやりませんか
sioremon
0
46
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
A Philosophy of Restraint
colly
203
16k
BBQ
matthewcrist
87
9.5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
134
33k
GitHub's CSS Performance
jonrohan
1030
460k
The Cult of Friendly URLs
andyhume
78
6.2k
Automating Front-end Workflow
addyosmani
1369
200k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Speed Design
sergeychernyshev
28
820
RailsConf 2023
tenderlove
29
1k
Agile that works and the tools we love
rasmusluckow
328
21k
Transcript
「めんどくさい」を そのままにしない id:cd_sioremon / @cd_sioremon 2024/05/24 Road to SRE Next
1
自己紹介 • id:cd_sioremon / @cd_sioremon • はてなのSRE(2024年度新卒入社) • アイドルオタク ◦
ももいろクローバーZ ◦ 私立恵比寿中学 2
3 アルバイト時代にやった Toilの解消
AWSのヘルスイベント通知地獄 4 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成
AWSのヘルスイベント通知地獄 5
AWSのヘルスイベント通知地獄 • 影響を受けるリソース毎に通知を飛ばしてい たため通知(=新規作成されるissue)が膨大に • 一個ずつ手でcloseするという最悪が発生して いた 6
最悪が発生した背景 • 通知の仕組みを作った当初はEC2がほとんど だった • RDSやECSが後から増えてきたために通知さ れるイベントの数が増えてしまった • 直すのがめんどくさくて放置されていた 7
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 8
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 9
AWSのヘルスイベント通知地獄 10 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成 イベント毎に通知を 流すように改善
改善後 • Issueをイベント単位で作成 • 影響を受けるリソースはIssueのコメントに チェックボックス付きで表示 11
改善後 12
通知の様子 13
みなさまのお声 14 今まで大量に通知が出ていたものが一つにまとまり 快適になった。最高 最高!便利!感謝感謝! たまに大量の Issue をぷちぷち消してるのは気持ちよかったのですが、冷静 になるとあれは騙されてました。正気に戻れてよかったです。 表記も似ているため見逃しのないよう確認するのが大変だったのですが、集
約のおかげでオペミスに対する安全性も高まって最高です。
15 まとめ
まとめ • AWSヘルスイベント通知の仕組みが古くなっ たことで, 作成当時とは違い大量の通知が送ら れてくるようになった • 技術的に難しいことはないが, どうにかするの がめんどくさくて放置されていた
16
まとめ • 面倒事にきちんとメスを入れたことでチーム がハッピーに 17
まとめ • 学び ◦ 作った仕組みは進化しなければならない ◦ 仕組みを適切に動かすためには継続的なメンテが不可 欠 ▪ 「動いているからヨシ!」ではない
18
hatena.co.jp/recruit 19 19