OOM発生時のトラブルシューティング Profilerを活用できるか調査してみた

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2024 Loglass Inc. 2 自己紹介自動車整備士としてキャリアをスタートし、退職後カナダのバンクーバーへ渡航。その後、プログラミングを現地の学校で勉強した後に、機械学習エンジニアとして現地のスタートアップでエンジニアとしてのキャリアをスタートさせる。 2年半カナダに滞在したのち、福岡へ移住。福岡の受託開発会社でバックエンドエンジニアとして3年ほど勤務。バックエンド・フロント・インフラの経験を積む。 2024年10月に株式会社ログラスへクラウドエンジニアとして入社。株式会社ログラスクラウドエンジニア宮本淳志 Atsushi Miyamoto

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 2024 Loglass Inc. 8 01｜OOMの理解と事例 JVMにおけるメモリ管理 Eden空間 Survivor空間 Tenured空間ヒープメモリクラスのすべてのインスタンスと配列はヒープメモリに格納される Young世代 Old世代非ヒープメモリメタスペースと呼ばれる、クラス定義などのメタデータやコードキャッシュ(コンパイルされたネイティブコード）などが格納されるガベージコレクション（GC) 不要となったオブジェクトを解放し、メモリを再利用可能にする ● Minor GC Young世代の無効なオブジェクトを削除し、有効なオブジェクトはEdenからSurvivor空間へ ● Full GC (Major GC) ヒープ全体のガベージコレクションが実施され、メタスペースやダイレクトメモリなどの領域も解放される ※参考: https://learn.microsoft.com/ja-jp/azure/spring-apps/basic-stan dard/concepts-for-java-memory-management ダイレクトメモリ nioやgzipなどのサードパーティのライブラリで使用される

Slide 9

Slide 9 text

© 2024 Loglass Inc. 9 01｜OOMの理解と事例 OOM エラーの種類と原因 ● Java heap space エラータイプ: java.lang.OutOfMemoryError: Java heap space 原因: ヒープ領域を使い果たした時に発生特に大量のオブジェクトが生成された場合や適切にガベージコレクションが行われない場合 ● Metaspace エラータイプ: java.lang.OutOfMemoryError: Metaspace 原因: メタスペースはクラスのメタデータなどが格納される領域クラスの読み込みが増加したり、過剰に動的にクラスが生成された場合 ● Direct buffer memory エラータイプ: java.lang.OutOfMemoryError: Direct buffer memory 原因: NIOを使用して、ダイレクトバッファを利用している場合に発生ヒープメモリとは別の領域でメモリ管理される。これが枯渇した場合 etc...

Slide 10

Slide 10 text

© 2024 Loglass Inc. 10 01｜OOMの理解と事例 java.lang.OutOfMemoryErrorが発生し、コンテナが停止したログラスではインフラに AWS ECS on Fargateを使用しており、ECS上でサービスが稼働している障害内容 1. アプリケーションでメモリを大量に使用する処理が実行 2. Full GCが実行 3. java.lang.OutOfMemoryErrorが発生 4. アプリケーション異常終了 5. ヘルスチェックが通過しなくなり、コンテナ停止実際の事例参考: https://zenn.dev/loglass/articles/547c64a172f170

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2024 Loglass Inc. 16 03｜Datadog profilerの調査と考察 Heapdump vs Profiler そもそもHeapdumpと同等の内容を profilerで確認できる？？ Profiler アプリケーションのパフォーマンスを分析し、パフォーマンスの低いコードを改善するために使うツールです。メモリの利用状況、CPU の利用状況、その他のアプリケーションレベルの問題を診断できます。アプリケーションの実行中にパフォーマンスデータを収集できます。引用元: https://learn.microsoft.com/ja-jp/visualstudio/pr ofiling/what-is-a-profiler?view=vs-2022 Heapdump Java ヒープダンプは、特定時に作成されたJVMヒープのスナップショットです。ヒープダンプの作成および分析は、Javaアプリケーションの問題の分析やトラブルシュートに役立つことがあります。引用元: https://docs.redhat.com/ja/documentation/red_h at_jboss_enterprise_application_platform/7.3/html /performance_tuning_guide/heap_dumps

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2024 Loglass Inc. 21 04｜現在の取り組みと今後やっていきたいこと S3に直接heapdumpをアップロード -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heap_dump.hprof -XX:OnOutOfMemoryError=/dump.sh 起動オプションを設定し OOM発生時にS3へアップロードする仕組み