質問箱の負荷対策

2 画像・図・グラフなど • 名前: 梅本稜 • 担当サービス ◦ 質問箱 •
実装 ◦ サーバーサイド ◦ インフラ • ジラフ歴: だいたい５年 • DDos経験: ３回自己紹介

3 1. アーキテクチャ図（簡易版） 2. よくわからないけど繋がらなくなる 3. DBのコネクションがいっぱいになる 4. Redisのメモリが不足する目次

4 アーキテクチャ図（簡易版） Infrastructure Master Cloud SQL Slave Cloud SQL Kubernetes
cluster Application Kubernetes Engine Worker Kubernetes Engine Nginx Ingress Kubernetes Engine Infrastructure Cloud Memorystore Cloud Memorystore S3 Cloud Memorystore S3 proxyr Kubernetes Engine

5 よくわからないけど繋がらなくなる

6 アラートをトリガーに電話が来る夜22~23時ごろ誰もデプロイはしていない一旦脳死でpodを増やすも復活しない

7 前提 podを増やしても復活しない GCPで障害は発生していない仮説 1. LBが死んでいる 2. DBで詰まっている 3.
Redisのメモリが溢れている問題を切り分ける

8 1. LBが死んでいる a. これはGCPのワークロードからpodの状態を確認して問題なし 2. DBが詰まっている a. DBにshow processlistを実行すると60秒以上実行されているクエ
リが多く発見される b. しかもレプリケーションが３時間近く遅延 3. Redisのメモリが溢れている a. Stackdriverで見ると溢れていない仮説検証する

9 1. 質問テーブルと回答テーブルをjoinしたクエリ 2. ユーザーテーブルのレコードに頻繁にアップデートが実行されロック 3. indexを貼っていないカラムで検索してフルスキャン＆filesort DBが詰まっている原因

10 一次対応 Redisで出来るだけキャッシュする実行箇所をコメントアウトして空のオブジェクトを返す恒久対応 joinせずに2回クエリを実行する処理を見るとjoinする必要がないものがあったのでjoinをやめる質問テーブルと回答テーブルをjoinしたクエリの対策

11 一次対応アクセス日はユーザーに見えないので更新するメソッドをコメントアウト恒久対応アクセスと同時にアップデートしていたので非同期にする現在はBigQueryで管理ユーザーテーブルのレコードに頻繁にアップデートが実行されロック

12 一次対応 Redisに出来るだけキャッシュするコメントアウトして空のオブジェクトを返す恒久対応 explainを使用して適切なindexを探す検索する値の順番を整理する indexを貼っていないカラムで検索してフルスキャン＆filesort

13 DBのコネクションがいっぱいになる CloudSQLのmysqlの最大コネクションの 4000コネクションに到達

14 緑の線がmasterのDB オレンジの線がslaveのDB Stackdriverからの通知で電話が来る画像・図・グラフなど

15 Pumaの場合 PumaのWorker * pool らしい（ソースコードまで追ってないです）なので Pod * PumaのWorker
* pool が4000以下になるように database.yml設定を変更するコネクションの総数を計算する方法を調べる

16 show processlistで表示される行数と Pod * PumaのWorker * pool の数を比較して減らす怖かったので1つずつpoolを減らして様子をみる
同時にPumaの処理待ちをStackdriverで監視して処理が詰まらないことを確認しながら行なった質問箱の場合は最終的に 7 になった（cpu 6core, memory 32GB） database.ymlの変更

17 Redisのメモリが不足するキャッシュしすぎた

18 1. 負荷対策でキャッシュしたものが増えた 2. sidekiqで処理待ちになったjobが400万近くあった 3. キャッシュによってどの程度の容量が必要か計算していなかった経緯

19 lib/peing_cache_pool.rbをに以下をコードを設置複数のRedisを接続できるように変更

20 ジラフではエンジニアを募集しています！もし興味がある方は僕に声をかけて欲しいです！最後に

質問箱の負荷対策

質問箱の負荷対策

umemotoryo

More Decks by umemotoryo

Other Decks in Programming

Featured

Transcript