Java Agent経由で簡単に混沌を注入しよう

JJUG CCC 2024 Fall 登壇資料：

マルチスレッド、分散システム、複数DB。これらを用いた開発では、本番環境特有の負荷により発生する遅延や例外を通常のテストで再現することは簡単ではありません。本セッションでは「アプリケーションのコード変更をせずにJava Agent経由で混沌 (ランダムな遅延や例外) を注入し、テストで問題を検出しやすくする手法について説明します。

Transcript

1. Java Agent経由で簡単に混沌を注入しよう 2024-10-27 JJUG CCC 2024 Fall Mitsunori Komatsu
2. Who am I - Mitsunori Komatsu @Scalar, Inc. - GitHub: komamitsu - msgpack-java - jackson-dataformat-msgpack - Fluency (Data ingestion logger to Fluentd) - Chaos Dukey
3. 人類には早すぎるものたち - マルチスレッド - 分散システム - 複数DB - マイクロサービス : テストされなかった処理順序の 組み合わせが本番環境で 突然発生し障害につながる …
4. 例: Lease-based job queue Producer 1 Producer 2 Producer 3 Job A Job C Job B Job A Job B Job C Consumer 1 Consumer 2 Dequeue Producer 1 Producer 2 Producer 3 Job A Job C Job B Job A Job B Job C Consumer 1 Consumer 2 Dequeue Job A Job AはConsumer 1に 渡されたので一定時間 他のConsumerには視えない Queue Queue Consumer 1が失敗しても Lease失効後、別の ConsumerがDequeueできる
5. 例: Lease-based job queue (正常系) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Account A: $200 00:01:30 No Jobs Dequeue a job Account A: $250 Job X が一度のみ 実行されたので 期待通り $250 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Increment Account A by $50 Finish Job X No available job Account A: $250
6. 例: Lease-based job queue (正常系) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Account A: $200 00:01:30 No Jobs Dequeue a job Account A: $250 Job X が一度のみ 実行されたので 期待通り $250 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Increment Account A by $50 Finish Job X No available job Account A: $250
7. 例: Lease-based job queue (正常系) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Account A: $200 00:01:30 No Jobs Dequeue a job Account A: $250 Job X が一度のみ 実行されたので 期待通り $250 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Increment Account A by $50 Finish Job X No available job Account A: $250
8. 例: Lease-based job queue (正常系) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Account A: $200 00:01:30 No Jobs Dequeue a job Account A: $250 Job X が一度のみ 実行されたので 期待通り $250 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Increment Account A by $50 Finish Job X No available job Account A: $250
9. 例: Lease-based job queue (stuck & lease失効) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Increment Account A by $50 Account A: $200 00:01:30 Job Xのleaseが失効 Job X - Incr Account A by $50 Dequeue a job Increment Account A by $50 Account A: $250 Account A: $300 00:02:00 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Owner は Worker 2 - Lease は 00:02:00 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Lease は 00:02:00 に失効 何らかの理由 （e.g., GC）により 処理が停止・遅延 Finish Job X Finish Job X 二重追加が 本番環境で発生 ...!
10. 例: Lease-based job queue (stuck & lease失効) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Increment Account A by $50 Account A: $200 00:01:30 Job Xのleaseが失効 Job X - Incr Account A by $50 Dequeue a job Increment Account A by $50 Account A: $250 Account A: $300 00:02:00 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Owner は Worker 2 - Lease は 00:02:00 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Lease は 00:02:00 に失効 何らかの理由 （e.g., GC）により 処理が停止・遅延 Finish Job X Finish Job X 二重追加が 本番環境で発生 ...!
11. 例: Lease-based job queue (stuck & lease失効) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Increment Account A by $50 Account A: $200 00:01:30 Job Xのleaseが失効 Job X - Incr Account A by $50 Dequeue a job Increment Account A by $50 Account A: $250 Account A: $300 00:02:00 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Owner は Worker 2 - Lease は 00:02:00 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Lease は 00:02:00 に失効 何らかの理由 （e.g., GC）により 処理が停止・遅延 Finish Job X Finish Job X 二重追加が 本番環境で発生 ...!
12. 例: Lease-based job queue (stuck & lease失効) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Increment Account A by $50 Account A: $200 00:01:30 Job Xのleaseが失効 Job X - Incr Account A by $50 Dequeue a job Increment Account A by $50 Account A: $250 Account A: $300 00:02:00 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Owner は Worker 2 - Lease は 00:02:00 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Lease は 00:02:00 に失効 何らかの理由 （e.g., GC）により 処理が停止・遅延 Finish Job X Finish Job X 二重追加が 本番環境で発生 ...!
13. 例: Lease-based job queue (stuck & lease失効) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Increment Account A by $50 Account A: $200 00:01:30 Job Xのleaseが失効 Job X - Incr Account A by $50 Dequeue a job Increment Account A by $50 Account A: $250 Account A: $300 00:02:00 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Owner は Worker 2 - Lease は 00:02:00 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Lease は 00:02:00 に失効 何らかの理由 （e.g., GC）により 処理が停止・遅延 Finish Job X Finish Job X 二重追加が 本番環境で発生 ...!
14. 例: Lease-based job queue (stuck & lease失効) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Increment Account A by $50 Account A: $200 00:01:30 Job Xのleaseが失効 Job X - Incr Account A by $50 Dequeue a job Increment Account A by $50 Account A: $250 Account A: $300 00:02:00 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Owner は Worker 2 - Lease は 00:02:00 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Lease は 00:02:00 に失効 何らかの理由 （e.g., GC）により 処理が停止・遅延 Finish Job X Finish Job X 二重追加が 本番環境で発生 ...!
15. 例: Lease-based job queue (stuck & lease失効) Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Increment Account A by $50 Account A: $200 00:01:30 Job Xのleaseが失効 Job X - Incr Account A by $50 Dequeue a job Increment Account A by $50 Account A: $250 Account A: $300 00:02:00 二重追加が 本番環境で発生 ...! Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Owner は Worker 2 - Lease は 00:02:00 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Lease は 00:02:00 に失効 何らかの理由 （e.g., GC）により 処理が停止・遅延 Finish Job X Finish Job X
16. テストは書いたけど… Job QueueからJobを Dequeue して、実行＆終了 （Queueから除去）する Consumer を 4 Thread 起動 Job Queue の初期化等。 Job Lease は4秒経つと失効。 Account A に $50 足す Job を 1000個投入 全ての処理が 終了するまで待機
17. テストは書いたけど… Job QueueからJobを Dequeue して、実行＆終了 （Queueから除去）する Consumer を 4 Thread 起動 Job Queue の初期化等。 Job Lease は4秒経つと失効。 Account A に $50 足す Job を 1000個投入 全ての処理が 終了するまで待機
18. テストは書いたけど… Job QueueからJobを Dequeue して、実行＆終了 （Queueから除去）する Consumer を 4 Thread 起動 Job Queue の初期化等。 Job Lease は4秒経つと失効。 Account A に $50 足す Job を 1000個投入 全ての処理が 終了するまで待機
19. テストは書いたけど… $50追加するJobが1000 Job投入されていたので $50000 == $50 x 1000 で期待通り 本番環境で発生したバグが再現できていない！！ 今回のように問題が発生するケースが 特定できていれば mock等で確実に再 現するテストを作成すべきだね とはいえ、全てのコーナーケースを事前 に把握するのは非常に難しいので、処理 を走らせた状態で、 コードに手を加えず に外部からランダムな遅延を注入して 「何も起こらないか / 何か起こるか」を確 認したい、ね
20. 番外編 「コードに手を加えずに遅延を注入して 　テストしたい...」 Chaos engineering? ちょっと大袈裟すぎる ... Jepsen? Clojureでテスト書くの辛い... モデル検査? モデル検査仕様書くの辛い ... 実装との乖離も…
21. Java Agent Javaアプリケーションの実行時に、バイトコードを変更する実装を 追加できる機構. 主な用途は: - Monitoring - Tracing - Profiling - Logging $ java -javaagent:<jarpath>[=<options>] … で指定可能 APM!!!
22. Byte Buddyで書くJava Agent例 main() ではなく premain() を定義 https://github.com/komamitsu/chaos-dukey/blob/master /src/main/java/org/komamitsu/chaosdukey/Agent.java
23. Java bytecode manipulation library Java bytecodeを動的に変更するためのライブラリ。 Java Agent作成にも用いられることが多い。 主なものとしては - ASM - Cglib - Javasist - Byte Buddy (内部でASM利用) 最近、よく使われている （例：Mockito）
24. Byte BuddyでJava Agent作れば「コードに手を加 えずに遅延を注入してテスト」できる？ 技術的にはYes. ただ、現実的にはByte BuddyでJava Agent を作って目的を達成するのは結構大変 もっと簡単に解決したい … 具体的に言うと極力 Java を書かずにすませたい
25. 極力Javaのコードを書かずに遅延を 注入するには - Byteman - https://byteman.jboss.org/ - 強力。Byteman rule scriptを書くことで何でもできる - 内部的にASMを使用 - Chaos-Dukey - https://github.com/komamitsu/chaos-dukey - 簡単。遅延/故障(==例外を投げる)注入に特化 - 内部的にByte Buddyを使用
26. Byteman rule scriptの例 変更対象のクラス名とメソッド名 下記の処理を発動するタイミング（メソッド開始時） 変更対象のクラス名とメソッド名 下記の処理を発動するタイミング（メソッド終了時） logging等も簡単に注入できる
27. Java Agent経由でBytemanを有効化し、 rule scriptを注入 例：$ java -javaagent:/path/to/byteman.jar=script:/path/to/script.btm … BMUnitを使えばUnit test内のJava annotationでscript等を指定することも可能
28. Chaos Dukey properties fileの例 遅延時間はランダム クラス名、メソッド名は正規表現で指定可能 遅延発動確率は 1% 最大遅延時間は 1500ms 発動時に投げられる例外 遅延に関する設定 例外発生に関する設定
29. Java Agent経由でChaos Dukeyを有効化 例： $ java -javaagent:/path/to/chaos-dukey-x.x.x-all.jar= configFile=/path/to/chaos-dukey.properties … 現状、BMUnitのようにUnit test上できめ細かく設定する方法はない 開発予定…
30. Worker 1 Distributed Queue Dequeue a job Account DB Job X - Incr Account A by $50 Worker 2 Increment Account A by $50 Account A: $200 00:01:30 Job Xのleaseが失効 Job X - Incr Account A by $50 Dequeue a job Increment Account A by $50 Account A: $250 Account A: $300 00:02:00 Job X - Account A に $50 追加 - Owner は Worker 1 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Owner は Worker 2 - Lease は 00:02:00 に失効 Job X - Account A に $50 追加 - Leaseは 00:01:30 に失効 Job X - Account A に $50 追加 - Lease は 00:02:00 に失効 何らかの理由（ e.g., GC）により 処理が停止・遅延 Finish Job X Finish Job X Chaos Dukeyを有効化して 先程のテストを実行してみる ↑ これを遅延させれば ..! 二重追加が 本番環境で発生 ...!
31. Chaos Dukeyを有効化して 先程のテストを実行してみる 最大8秒間のランダムな遅延を 1% の確率で発生させる
32. Chaos Dukeyを有効化して再現 対応策の例： Account DBの 処理を冪等化 二重追加が 2件発生...!
33. まとめ - 処理順序の組み合わせが膨大である場合、全てのケースを把 握してmock等を使ってテストするのは難しい - Java Agentを使うと、コードを変更せずに混沌（遅延や故障）を 注入できるので便利 - 複雑なことをやりたいならByteman (https://byteman.jboss.org/)、簡単にランダムな遅延や故障を 注入したいならChaos Dukey (https://github.com/komamitsu/chaos-dukey) がおすすめ