めぐろLT#6 怖い話 サーバーが次々死んでいく

めぐろLTでの登壇資料
https://meguro-lt.connpass.com/event/288484/

Transcript

1. サーバーが次々死んでいく... 株式会社ラクーンHD yamashita.kiyoshi
2. まずは自己紹介 名前：山下 清史
 所属：株式会社ラクーンホールディングス 技術戦略部 開発チーム
 主な仕事：BtoB卸売りサイト スーパーデリバリーの開発

3. APサーバーをDocker化した - 今までのサーバーのセットアップは手作業でやっていた
 - Dockerfileにサーバーの設定をかける
 - 開発環境構築が楽になった
 - ログフォーマットをjsonにした
 - ログを標準出力に出すようにした
 - サーバにsshしてログファイルを確認しなくてよくなった
 - fluentd -> Elasticsesarch -> kibanaでログを確認できる

4. 進め方
 - Dockerfileなどを作成する
 - ログをモダンにする
 - 不要なログを削除し、標準出力に出す
 - セキュリティ対策
 - 機密情報をDockerfileに書かないようにした
 - ひたすらテスト
 俺、このプロジェクトが終わったら長期休暇を取って海外旅行へ行くんだ...
 APサーバーをDocker化した
5. 開発は上手くいった
 そして本番稼働して、初めの1、2日は上手く動いていた
 APサーバーをDocker化した
6. サーバーが死んでいく 
 いきなりサーバーが死んでサービスサイトに繋がらなくなった
 アクセスログは全て500
 会員が商品を購入できなくなった
 
 

7. サーバーが死んでいく 大量の同時アクセスが来ていたようだ…
 
 

8. 一時的な高負荷によりメモリが足りなくなった？
 →メモリ割り当てを増やした
 負荷テストが足りなかったなぁ～
 考えられる原因
9. メモリを2倍割り当てたはずなのにサーバーがまた死んだ...
 対策した結果
10. パフォーマンス劣化のたびに対処療法（メモリ割り当てを増やす）を行った
 しかし、ついにアクセスが少ないときにサーバーが死んだ…
 一時的な高負荷が問題じゃなかった…
 それでもまた…

11. 計測 現在のアプリケーションサーバーにおいてヒープ領域の使用状況を確認すると
 異常にメモリを使っているクラスが見つかった...
 
 そのクラスを確認したら

12. 進め方
 - Dockerfileなどを作成する
 - ログをモダンにする
 - 不要なログを削除し、標準出力に出す
 - セキュリティ対策
 - 機密情報をDockerfileに書かないようにした
 - ひたすらテスト
 このプロジェクトが終わったら長期休暇を取って海外旅行へ行くんだ・・・
 APサーバーをDocker化した
13. 原因 不要なログ削除時の対応がミスっていたことが発覚した
 
 対応ミスしたログの動作
 - ログ出力前に、スレッド変数内にデータをためる
 - ログ出力後にデータをクリアする
 
 データをためるところを消さずにデータをクリアするコードのみを消していた
 
 →メモリリーク発生

14. 原因 gitでコミットした人を見ると...私でした
 
 
 
 

15. まとめ - 推測するな、計測せよ！！
 - メモリリークは気付きづらくて怖い
 - 解決までに時間がかかってしまった