Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
「めんどくさい」をそのままにしない
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
sioremon
May 24, 2024
1.1k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
「めんどくさい」をそのままにしない
sioremon
May 24, 2024
Transcript
19 slides
「めんどくさい」を そのままにしない id:cd_sioremon / @cd_sioremon 2024/05/24 Road to SRE Next
1
自己紹介 • id:cd_sioremon / @cd_sioremon • はてなのSRE(2024年度新卒入社) • アイドルオタク ◦
ももいろクローバーZ ◦ 私立恵比寿中学 2
3 アルバイト時代にやった Toilの解消
AWSのヘルスイベント通知地獄 4 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成
AWSのヘルスイベント通知地獄 5
AWSのヘルスイベント通知地獄 • 影響を受けるリソース毎に通知を飛ばしてい たため通知(=新規作成されるissue)が膨大に • 一個ずつ手でcloseするという最悪が発生して いた 6
最悪が発生した背景 • 通知の仕組みを作った当初はEC2がほとんど だった • RDSやECSが後から増えてきたために通知さ れるイベントの数が増えてしまった • 直すのがめんどくさくて放置されていた 7
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 8
• ある日, 107個の通知(同一イベント)が飛んで きた AWSのヘルスイベント通知地獄 9
AWSのヘルスイベント通知地獄 10 AWS Health Dashboard AWS Event Bridge AWS Lambda
GitHub Slack Slack通知 Issuesを作成 イベント毎に通知を 流すように改善
改善後 • Issueをイベント単位で作成 • 影響を受けるリソースはIssueのコメントに チェックボックス付きで表示 11
改善後 12
通知の様子 13
みなさまのお声 14 今まで大量に通知が出ていたものが一つにまとまり 快適になった。最高 最高!便利!感謝感謝! たまに大量の Issue をぷちぷち消してるのは気持ちよかったのですが、冷静 になるとあれは騙されてました。正気に戻れてよかったです。 表記も似ているため見逃しのないよう確認するのが大変だったのですが、集
約のおかげでオペミスに対する安全性も高まって最高です。
15 まとめ
まとめ • AWSヘルスイベント通知の仕組みが古くなっ たことで, 作成当時とは違い大量の通知が送ら れてくるようになった • 技術的に難しいことはないが, どうにかするの がめんどくさくて放置されていた
16
まとめ • 面倒事にきちんとメスを入れたことでチーム がハッピーに 17
まとめ • 学び ◦ 作った仕組みは進化しなければならない ◦ 仕組みを適切に動かすためには継続的なメンテが不可 欠 ▪ 「動いているからヨシ!」ではない
18
hatena.co.jp/recruit 19 19
More Decks by sioremon
See All by sioremon
「若手交流会」をやりませんか
sioremon
0
95
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.7k
Building an army of robots
kneath
307
47k
Designing for Performance
lara
612
70k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
Measuring & Analyzing Core Web Vitals
bluesmoon
9
1.1k
Designing for humans not robots
tammielis
254
26k
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
greggifford
PRO
0
400
Mobile First: as difficult as doing things right
swwweet
225
10k
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
48k
Done Done
chrislema
187
17k
Code Reviewing Like a Champion
maltzj
529
40k