｢めんどくさい｣をそのままにしない

Transcript

1. ｢めんどくさい｣を そのままにしない id:cd_sioremon / @cd_sioremon 2024/05/24 Road to SRE Next 1
2. 自己紹介 • id:cd_sioremon / @cd_sioremon • はてなのSRE(2024年度新卒入社) • アイドルオタク ◦ ももいろクローバーZ ◦ 私立恵比寿中学 2
3. 3 アルバイト時代にやった Toilの解消
4. AWSのヘルスイベント通知地獄 4 AWS Health Dashboard AWS Event Bridge AWS Lambda GitHub Slack Slack通知 Issuesを作成
5. AWSのヘルスイベント通知地獄 5
6. AWSのヘルスイベント通知地獄 • 影響を受けるリソース毎に通知を飛ばしてい たため通知(=新規作成されるissue)が膨大に • 一個ずつ手でcloseするという最悪が発生して いた 6
7. 最悪が発生した背景 • 通知の仕組みを作った当初はEC2がほとんど だった • RDSやECSが後から増えてきたために通知さ れるイベントの数が増えてしまった • 直すのがめんどくさくて放置されていた 7
8. • ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 8
9. • ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 9
10. AWSのヘルスイベント通知地獄 10 AWS Health Dashboard AWS Event Bridge AWS Lambda GitHub Slack Slack通知 Issuesを作成 イベント毎に通知を 流すように改善
11. 改善後 • Issueをイベント単位で作成 • 影響を受けるリソースはIssueのコメントに チェックボックス付きで表示 11
12. 改善後 12
13. 通知の様子 13
14. みなさまのお声 14 今まで大量に通知が出ていたものが一つにまとまり 快適になった。最高 最高！便利！感謝感謝！ たまに大量の Issue をぷちぷち消してるのは気持ちよかったのですが、冷静 になるとあれは騙されてました。正気に戻れてよかったです。 表記も似ているため見逃しのないよう確認するのが大変だったのですが、集 約のおかげでオペミスに対する安全性も高まって最高です。
15. 15 まとめ
16. まとめ • AWSヘルスイベント通知の仕組みが古くなっ たことで, 作成当時とは違い大量の通知が送ら れてくるようになった • 技術的に難しいことはないが, どうにかするの がめんどくさくて放置されていた 16
17. まとめ • 面倒事にきちんとメスを入れたことでチーム がハッピーに 17
18. まとめ • 学び ◦ 作った仕組みは進化しなければならない ◦ 仕組みを適切に動かすためには継続的なメンテが不可 欠 ▪ ｢動いているからヨシ!｣ではない 18
19. hatena.co.jp/recruit 19 19