データベースのメモリ管理周り〜OutofMemoryを撲滅したい〜

最近DB周りで起きたインシデントへの考察と対策をお話します。

Transcript

1. データベースのメモリ管理周り by さんきょー(@t3qyo) Road to SRE NEXT@広島 LT
2. • さんきょー @t3qyo • PdMとたまにエンジニア • カープファン • 広島Uターンで水産業関連のスタートアップに 自己紹介 2 今、気仙沼（宮城）の カツオが脂のっててお すすめです✨
3. 今日話すこと 3 こういうチューニングもあるよ。 というのがあればぜひ教えてください🙏 最近DB周りで起きたインシデントへの考察と対策をお話します。 本業はDB畑ではないんですが、このインシデントを解決したくて今回の登壇を機 にいろいろ調べました。
4. 最近Sentry　　がこいつをちらほら 4
5. あかんやつです😢 5
6. 考察 6 • ここ最近で発生するようになった • 発生タイミングはだいたい決まっている ◦ 一括アップロードを行っているタイミングが怪しいが Staging環境で負荷テストを行っても再現しない（そもそも完全 に本番環境を再現できていない） 一括アップロード単独で発生するわけでもなさそう。 • データベースのスペックは（まだ）問題なさそう。 平時は問題ないので、単純にスケールアップはしたくない ◦ 最大コネクション数 ◦ メモリ
7. やったこと 7 • Scout APMで重たい処理を確認して、 APIレベルのN+1潰す。使用メモリ削減 • Slow DB Queryを確認して対策 • 小さいクエリでも、毎回DB問い合わせ不要なものはキャッシュを使 う • Postgresの作業メモリ（work_mem）をデフォルト値から増やす
8. やったこと 8 • Scout APMで重たい処理を確認して、 APIレベルのN+1潰す。使用メモリ削減 •
9. やったこと 9 • Scout APMで重たい処理を確認して、 APIレベルのN+1潰す。使用メモリ削減 •
10. やったこと 10 • Slow DB Queryを確認して対策 謎のCOPY文 BIへの定期的な自前コピー処理が原因😭 → 外して、Replicaを使うように
11. • 小さいクエリでも、毎回DB問い合わせ不要なものはキャッシュを使 う やったこと 11
12. やったこと 12 • Postgresの作業メモリ（work_mem）をデフォルト値から増やす ◦ work_memが小さいとメモリを使ったクイックソートなどができ ず、実行計画が高くなる（参考） ◦ データ量が増えるにつれて適切な作業メモリを設定する必要があ る（参考）
13. 学び 13 • ScoutAPMでAPIのメモリ使用状況可視化しておいてよかった ◦ ただ、（当たり前だが）DBに直接接続しているクライアントのクエリな どはDB側の監視ツールで把握する必要がある →API、DB両軸での対応が必要 • 単発のSQLでは発生しなくても、ユーザー数増加、他処理との組み合わせで Out Of Memoryが発生する • Postgresではサービス拡大に合わせた作業メモリ（work_mem）の設定が必 要 • DBバックアップ、コピーの処理もメモリに影響を与えている
14. これから 14 • DBレベルでのSlow Query、メモリ利用状況をもっとわかりやすく取れるよ うにしたい💪 • AutoScaleしてくれるサービスへの移行も検討していきたい
15. ありがとうございました Road to SRE NEXT@広島 LT by さんきょー(@t3qyo) こういうチューニングもあるよ。 というのがあればぜひ教えてください🙏