｢めんどくさい｣をそのままにしない

｢めんどくさい｣をそのままにしない id:cd_sioremon / @cd_sioremon 2024/05/24 Road to SRE Next
1

自己紹介 • id:cd_sioremon / @cd_sioremon • はてなのSRE(2024年度新卒入社) • アイドルオタク ◦
ももいろクローバーZ ◦ 私立恵比寿中学 2

3 アルバイト時代にやった Toilの解消

AWSのヘルスイベント通知地獄 4 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成

AWSのヘルスイベント通知地獄 5

AWSのヘルスイベント通知地獄 • 影響を受けるリソース毎に通知を飛ばしていたため通知(=新規作成されるissue)が膨大に • 一個ずつ手でcloseするという最悪が発生していた 6

最悪が発生した背景 • 通知の仕組みを作った当初はEC2がほとんどだった • RDSやECSが後から増えてきたために通知されるイベントの数が増えてしまった • 直すのがめんどくさくて放置されていた 7

• ある日, 107個の通知(同一イベント)が飛んできた AWSのヘルスイベント通知地獄 8

• ある日, 107個の通知(同一イベント)が飛んできた AWSのヘルスイベント通知地獄 9

AWSのヘルスイベント通知地獄 10 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成イベント毎に通知を流すように改善

改善後 • Issueをイベント単位で作成 • 影響を受けるリソースはIssueのコメントにチェックボックス付きで表示 11

改善後 12

通知の様子 13

みなさまのお声 14 今まで大量に通知が出ていたものが一つにまとまり快適になった。最高最高！便利！感謝感謝！たまに大量の Issue をぷちぷち消してるのは気持ちよかったのですが、冷静になるとあれは騙されてました。正気に戻れてよかったです。表記も似ているため見逃しのないよう確認するのが大変だったのですが、集
約のおかげでオペミスに対する安全性も高まって最高です。

15 まとめ

まとめ • AWSヘルスイベント通知の仕組みが古くなったことで, 作成当時とは違い大量の通知が送られてくるようになった • 技術的に難しいことはないが, どうにかするのがめんどくさくて放置されていた
16

まとめ • 面倒事にきちんとメスを入れたことでチームがハッピーに 17

まとめ • 学び ◦ 作った仕組みは進化しなければならない ◦ 仕組みを適切に動かすためには継続的なメンテが不可欠 ▪ ｢動いているからヨシ!｣ではない
18

hatena.co.jp/recruit 19 19

｢めんどくさい｣をそのままにしない

｢めんどくさい｣をそのままにしない

sioremon

More Decks by sioremon

Featured

Transcript