Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ある日突然 DB の性能が 1/2(サイズのインスタンス相当)になった話
Search
hmatsu47
PRO
September 02, 2024
Technology
0
38
ある日突然 DB の性能が 1/2(サイズのインスタンス相当)になった話
ゆる SRE 勉強会 #7 ~ 1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30
hmatsu47
PRO
September 02, 2024
Tweet
Share
More Decks by hmatsu47
See All by hmatsu47
Claude 3.5 で Haiku
hmatsu47
PRO
0
14
HeatWave on AWS の PrivateLink インバウンドレプリケーションで Aurora フェイルオーバーに追従する
hmatsu47
PRO
0
13
大吉祥寺.pm の LT で ChatGPT の力を借りて Next.js App Router ベースの投句箱を作って、 Lambda Web Adapter を使って公開した話
hmatsu47
PRO
0
17
pgvectorscale と pgai の話(ざっくり)
hmatsu47
PRO
0
60
pgvector 0.7.0 の新機能と、これから来る(かもしれない)pgvectorscale
hmatsu47
PRO
0
57
大人の社会科見学 ~ NTT 技術史料館に行ってみよう!
hmatsu47
PRO
0
450
pgvector 0.6.0 以降の進化についてざっくり取り上げてみる
hmatsu47
PRO
0
81
Cloudflare Workes からMySQL 系 DB への接続事情(2024/4 現在)
hmatsu47
PRO
0
160
BuriKaigi2024 にボランティアスタッフとして参加した話
hmatsu47
PRO
0
85
Other Decks in Technology
See All in Technology
なぜCodeceptJSを選んだか
goataka
0
160
KubeCon NA 2024 Recap / Running WebAssembly (Wasm) Workloads Side-by-Side with Container Workloads
z63d
1
240
サーバレスアプリ開発者向けアップデートをキャッチアップしてきた #AWSreInvent #regrowth_fuk
drumnistnakano
0
190
10分で学ぶKubernetesコンテナセキュリティ/10min-k8s-container-sec
mochizuki875
3
330
複雑性の高いオブジェクト編集に向き合う: プラガブルなReactフォーム設計
righttouch
PRO
0
110
サイバー攻撃を想定したセキュリティガイドライン 策定とASM及びCNAPPの活用方法
syoshie
3
1.2k
Snykで始めるセキュリティ担当者とSREと開発者が楽になる脆弱性対応 / Getting started with Snyk Vulnerability Response
yamaguchitk333
2
180
Amazon VPC Lattice 最新アップデート紹介 - PrivateLink も似たようなアップデートあったけど違いとは
bigmuramura
0
190
アップデート紹介:AWS Data Transfer Terminal
stknohg
PRO
0
180
DevOps視点でAWS re:invent2024の新サービス・アプデを振り返ってみた
oshanqq
0
180
Qiita埋め込み用スライド
naoki_0531
0
860
GitHub Copilot のテクニック集/GitHub Copilot Techniques
rayuron
26
11k
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
2
170
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
66k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
45
2.2k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
Side Projects
sachag
452
42k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
44
9.3k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
32
2.7k
Transcript
ある日突然 DB の性能が ½ になった話 ゆる SRE 勉強会 #7 ~
1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30 まつひさ(hmatsu47)
ある日突然 DB の性能が ½ になった話 ゆる SRE 勉強会 #7 ~
1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30 まつひさ(hmatsu47) サイズのインスタンス相当
自己紹介 松久裕保(@hmatsu47) • https://qiita.com/hmatsu47 • 現在: ◦ 名古屋で Web インフラのお守り係をしています
◦ SRE チームに所属しつつ技術検証の支援をしています ▪ フロントエンド(Next.js App Router)など ◦ 仕事に関係なく pgvector の周辺を追っかけ中です ▪ 本来(?)は MySQLer です 3
それは真夏…じゃなくて真冬の出来事 • 2018 年、正月 ◦ その前に、 4
前年の某社(オンプレ運用) • 壊れるストレージ ◦ 冗長化電源が両系同時故障 • 繋がらない修理窓口 ◦ 専属担当者付きのプレミアムサポートのはずなのに ▪
下位サポート窓口の支援に追われて本来の担当窓口に出られず🤔 • 終わらない修理立ち会い ◦ 保守部品への交換完了→動作確認→保守部品の不良発覚→再修理 ◦ 金曜夜に故障→土曜に直らず→日曜夜まで修理は続く 5
秋になり、 • なんとか AWS への Lift & Shift が完了 ◦
DB は MySQL → Aurora MySQL へ ◦ でも、若干不安定… ◦ アクセスが多いときフェイルオーバーすると DB 接続が刺さる ▪ オンプレ比でネットワークレイテンシが大きくなったため 6
有効な解決策がないまま、年末年始へ • そして 2018 年 1 月 3 日、 7
あいつらがやってきた! • Meltdown & Spectre 8 コンニチハ! \ /
と同時に、 • AWS のコンピュート基盤にパッチが当てられる(1 回目) ◦ 結果、起きたことは… 9
AWS コンピュート基盤性能低下 • 「EC2 上で動作中の memcached の性能が ⅔ になった」 ◦
ネットから流れてきた情報 • …Aurora は? 10
やっぱり性能低下していた • 同タイプ 1 段階下(½ サイズ)相当の性能に(約 ⅔) https://qiita.com/hmatsu47/items/656ebb6575c31bf1a90e 11
仕事始め早々、 • 祈りながら🐶のメトリクスグラフを眺め続けることに ◦ DB(Aurora)も心配だけど Web(EC2)も気になる… • いざとなったらスケールアップできるよう手配 ◦ 稟議を通す(💰の弾丸)
◦ ついでに新しいインスタンスタイプへの変更(R3 → R4)を準備 12
数日後、いきなり • 性能が(ほぼ)元に戻った https://qiita.com/hmatsu47/items/656ebb6575c31bf1a90e 13
結局、 • スケールアップは不要に ◦ 新しいインスタンスタイプへの変更(R3 → R4)のみ実施 ▪ 少しだけ性能アップ 14
その後、 • DB 接続の改善を実施 ◦ コネクションプーリングライブラリを(高速なものに)置き換え • フェイルオーバーが怖くなくなった! 15
一安心。 • しかし、怖い話には続きが… 16
ある日の偉い人(フィクションです。たぶん) 【補足】 当時、満足な性能が出てクラウド間レプリケーションが可能な 他クラウドの MySQL 系マネージドサービスはありませんでした (GCP の Cloud
SQL for MySQL は v1・v2 とも要件を満たさず) さすがに IaaS はいやです… 17 AWS だけでは不安だ マルチクラウド化を進めてくれ