Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ある日突然 DB の性能が 1/2(サイズのインスタンス相当)になった話
Search
hmatsu47
PRO
September 02, 2024
Technology
0
50
ある日突然 DB の性能が 1/2(サイズのインスタンス相当)になった話
ゆる SRE 勉強会 #7 ~ 1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30
hmatsu47
PRO
September 02, 2024
Tweet
Share
More Decks by hmatsu47
See All by hmatsu47
さいきんの MySQL との付き合い方 〜 MySQL 8.0 より後の世界へようこそ 〜
hmatsu47
PRO
0
11
ベクトルストア入門
hmatsu47
PRO
0
10
Aurora DSQL について
hmatsu47
PRO
0
9
DynamoDB Global Tables MRSC・pgvector 0.8.0・caching_sha2_password 関連アップデート
hmatsu47
PRO
0
9
10 年(+1 年)の振り返りと 2025 年の活動予定
hmatsu47
PRO
0
24
RDS/Aurora アップデート(2024 年版)
hmatsu47
PRO
0
30
Aurora DSQL と楽観的同時実行制御(OCC)
hmatsu47
PRO
0
42
Claude 3.5 で Haiku
hmatsu47
PRO
0
26
HeatWave on AWS の PrivateLink インバウンドレプリケーションで Aurora フェイルオーバーに追従する
hmatsu47
PRO
0
22
Other Decks in Technology
See All in Technology
Oracle Database Technology Night #87-1 : Exadata Database Service on Exascale Infrastructure(ExaDB-XS)サービス詳細
oracle4engineer
PRO
1
190
生成AI “再”入門 2025年春@WIRED TUESDAY EDITOR'S LOUNGE
kajikent
0
140
事業を差別化する技術を生み出す技術
pyama86
2
300
AIエージェント元年@日本生成AIユーザ会
shukob
1
230
30→150人のエンジニア組織拡大に伴うアジャイル文化を醸成する役割と取り組みの変化
nagata03
0
200
MIMEと文字コードの闇
hirachan
2
1.4k
Amazon Aurora のバージョンアップ手法について
smt7174
2
160
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
エンジニアリング価値を黒字化する バリューベース戦略を用いた 技術戦略策定の道のり
kzkmaeda
7
3k
Fraxinus00tw assembly manual
fukumay
0
130
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
230
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
The Invisible Side of Design
smashingmag
299
50k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
It's Worth the Effort
3n
184
28k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
A Philosophy of Restraint
colly
203
16k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
The Cost Of JavaScript in 2023
addyosmani
47
7.4k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Transcript
ある日突然 DB の性能が ½ になった話 ゆる SRE 勉強会 #7 ~
1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30 まつひさ(hmatsu47)
ある日突然 DB の性能が ½ になった話 ゆる SRE 勉強会 #7 ~
1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30 まつひさ(hmatsu47) サイズのインスタンス相当
自己紹介 松久裕保(@hmatsu47) • https://qiita.com/hmatsu47 • 現在: ◦ 名古屋で Web インフラのお守り係をしています
◦ SRE チームに所属しつつ技術検証の支援をしています ▪ フロントエンド(Next.js App Router)など ◦ 仕事に関係なく pgvector の周辺を追っかけ中です ▪ 本来(?)は MySQLer です 3
それは真夏…じゃなくて真冬の出来事 • 2018 年、正月 ◦ その前に、 4
前年の某社(オンプレ運用) • 壊れるストレージ ◦ 冗長化電源が両系同時故障 • 繋がらない修理窓口 ◦ 専属担当者付きのプレミアムサポートのはずなのに ▪
下位サポート窓口の支援に追われて本来の担当窓口に出られず🤔 • 終わらない修理立ち会い ◦ 保守部品への交換完了→動作確認→保守部品の不良発覚→再修理 ◦ 金曜夜に故障→土曜に直らず→日曜夜まで修理は続く 5
秋になり、 • なんとか AWS への Lift & Shift が完了 ◦
DB は MySQL → Aurora MySQL へ ◦ でも、若干不安定… ◦ アクセスが多いときフェイルオーバーすると DB 接続が刺さる ▪ オンプレ比でネットワークレイテンシが大きくなったため 6
有効な解決策がないまま、年末年始へ • そして 2018 年 1 月 3 日、 7
あいつらがやってきた! • Meltdown & Spectre 8 コンニチハ! \ /
と同時に、 • AWS のコンピュート基盤にパッチが当てられる(1 回目) ◦ 結果、起きたことは… 9
AWS コンピュート基盤性能低下 • 「EC2 上で動作中の memcached の性能が ⅔ になった」 ◦
ネットから流れてきた情報 • …Aurora は? 10
やっぱり性能低下していた • 同タイプ 1 段階下(½ サイズ)相当の性能に(約 ⅔) https://qiita.com/hmatsu47/items/656ebb6575c31bf1a90e 11
仕事始め早々、 • 祈りながら🐶のメトリクスグラフを眺め続けることに ◦ DB(Aurora)も心配だけど Web(EC2)も気になる… • いざとなったらスケールアップできるよう手配 ◦ 稟議を通す(💰の弾丸)
◦ ついでに新しいインスタンスタイプへの変更(R3 → R4)を準備 12
数日後、いきなり • 性能が(ほぼ)元に戻った https://qiita.com/hmatsu47/items/656ebb6575c31bf1a90e 13
結局、 • スケールアップは不要に ◦ 新しいインスタンスタイプへの変更(R3 → R4)のみ実施 ▪ 少しだけ性能アップ 14
その後、 • DB 接続の改善を実施 ◦ コネクションプーリングライブラリを(高速なものに)置き換え • フェイルオーバーが怖くなくなった! 15
一安心。 • しかし、怖い話には続きが… 16
ある日の偉い人(フィクションです。たぶん) 【補足】 当時、満足な性能が出てクラウド間レプリケーションが可能な 他クラウドの MySQL 系マネージドサービスはありませんでした (GCP の Cloud
SQL for MySQL は v1・v2 とも要件を満たさず) さすがに IaaS はいやです… 17 AWS だけでは不安だ マルチクラウド化を進めてくれ