PHP カンファレンス沖縄 2023 登壇資料です。
PHP で負荷試験のシナリオを書きたい！ので amphp を使って自作した件2023/09/16 PHP カンファレンス沖縄 やまゆ
View Slide
セッション概要jMeter, Locust, k6, ... 負荷試験ツールは色々ありますが、どれも PHP でシナリオを書くことができません。 PHP のコードは PHP でシナリオも書いてしまった方が一貫性があって良いですよね？ PHP 8.1 から Fiber が入ったことで、 PHP でも非同期・並行的な処理が簡単に実装出来るようになりました。 PHP によるシナリオツール、 ないなら作ろう精神 で、自作することにしました。Fiber ままで並行処理を作るのは大変なので、今回は amphp を使って簡単に distributed なシステムを構築します。今回は何故自作したのか、どのように並行処理を実装したのかを紹介します。ターゲット負荷試験したい方PHP で並行処理ってどうやるの？という方
赤魔道士系エンジニア㈱インフィニットループ at 札幌/仙台 やまゆこの画像は自撮りでもいつも使っているアイコンでも構いません☕
負荷試験
負荷試験大規模 Web サービスのリリース・大規模アプデに欠かせない事前テスト想定された Monthly Active User(MAU) から仮定する Request per sec(rps) が安定して稼働するか、負荷をかけ続けて試験すること↓やらないとどうなる？- 事前スケーリングのサイズが決まらない- リリース時に🔥炎上🔥する
負荷試験内容1. MAU 定義2. シナリオ定義3. rps 定義4. 負荷シナリオプログラム作成5. 実施・監視・適宜最適化6. レポート
負荷試験定義例- 事前のアンケートや類似事例から MAU を検討- 想定されたシナリオをいくつか作成- トップページ -> リンク回遊 -> ユーザー登録 -> プロフィール編集 -> リンク回遊- トップページ -> ユーザー登録 -> 課金 -> リンク回遊- ソシャゲ: ユーザー登録 -> ログイン -> チュートリアル -> コアサイクル- シナリオから「何秒おきにどんな API 順で呼ばれるか」表を作成- 同時に、シナリオ表をプログラム化(機械的に呼べるようにする)- MAUとシナリオ表から「1秒間に何リクエスト送られるか」を推測
負荷試験定義例: rps- 仮に 20 万 MAU とする- 仮定として、全体の 50 %(10万) が最大の同時接続数とする- シナリオ表から、平均的な rps が 0.2 であるとする- 100,000 * 0.2 = 20,000 rps- このサービスに安定・継続して耐えるべき値は 20,000 rps と仮定
Next action?20,000 rps を耐えられる構成を考えるそもそも 20,000 rps がどのリソースにどれくらいの負荷を掛けるのか、計測する必要があるということで機械的に計測するための負荷試験ツールの出番！
負荷をかける(HTTP リクエストする)ツール
Apache jMeter https://jmeter.apache.org/
Locust https://locust.io/
Locust Scenario(Python)
k6 https://k6.io/
k6 Scenario(JavaScript like)
PHP なくない？
じゃあ作るか
heavyrain
heavyrain - PHP Loadtest/Stresstest tool
Why?- Locust 使っていたが python かぁ...となる- k6 もなんか変な JavaScript だしなぁ...となる- jMeter…となる- PHP でシナリオ書けるのが一番楽やろ- 今は PHP でも Fiber 等で並行処理強くなってきたし- 自分が一番欲しい(普通にプロジェクトの負荷試験に使いたい)- ないなら作ろう精神
同期的だと無理
同期処理シーケンス
非同期処理シーケンス
非同期処理における並行 & 並列非同期処理には種類がある- 並行(Concurrency)- 並列(Parallelism)言語の仕組みによって並行性が高かったり並列性が高かったりする言語だけでなくドキュメントでもこの表現は揺れているので、今回の資料では- 並行＝シングルスレッドでうまいこと非同期する- 並列＝マルチスレッド・マルチプロセスで非同期するとする。
PHP は(基本的に)シングルスレッドなので「並列」ではなく「並行」が近いマルチプロセスは可能だが、プロセス間通信はちょっと大変マルチスレッドは extension を使えば可能(zts じゃないとダメ)
JavaScript も(基本的に)シングルスレッド
Fiber
Fiberhttps://www.php.net/manual/ja/language.fibers.phpサードパーティ extension なしで「非同期・並行処理」を実現できる APIPHP 8.1 から利用可能シンプルで低レベルの API を提供している
シンプルすぎてわからん🤔
Revolt
Revoltイベントループを管理してくれる低レベル API ライブラリ- Defer: go の defer みたいに、イテレーションの最後に- Delay: x 秒後に- Repeat: x 秒おきに- Stream readable: ストリームが読み込めるようになったら- Stream writable: ストリームに書きこめるようになったら- Signal: プロセスシグナルを OS から受け取ったら
amphp
amphpRevolt をベースとした高レベル非同期 APIを提供するライブラリ群File, Log, MySQL, Redis などの I/O 処理を非同期化しブロックしない形で実行出来るライブラリがあるHTTP Server を動かすこともできる
asyncawait
async?「将来どこかで終わるけど、今はまだ終わってないと思う」という表明的なもの(既に終わっている時もある)色んな言語で実装されているが、 PHP はライブラリレベルで実装`function async(\Closure $callback): Future`Future だったり Promise だったりする(概念が違うが似た系統)
await?async なクロージャが完了するまで待つ`$results = await($futures)`複数のクロージャが全て完了するまで待つことも出来るJavaScript の変遷をたどると分かりやすいSoftwareDesign 2023年9月号に詳しく載ってます！(他人の記事を勝手に宣伝)https://gihyo.jp/magazine/SD/archive/2023/202309
heavyrain での非同期処理- ほとんどの処理は HTTP レスポンスが来るまでの待機時間- 同期処理すると、 CPU が暇- 暇している間に別のリクエストを実行したい- そこで「非同期」処理- シングルスレッドで「同時に x リクエスト」出来るようにする！
目指せ「1,000 並行」extension なしだと「1,024 ファイルディスクリプタ」が限界値ディスクリプタ数が増えると線形に遅くなるので実際そこまではいかなさそうextension を入れるともっと増やせる(最大はエフェメラルポート数くらい？)現状だと amphp/ext-uv が比較的アクティブにメンテされているnode.js でも使われていた libuv を使った PHP 拡張
まずは「 HTTP シナリオ」を書けることリクエストとレスポンスの連なり（シナリオ）を表現できる必要があるPOST /register -> POST /login -> GET /me -> POST /post -> …- HTTP リクエストを送る- 前のレスポンスのデータを使う- 途中暗号化や認証を行えるようにする(ミドルウェア)- 1人のユーザーの一連のシナリオをスクリプトに変換する
ClientInterface- 簡単に HTTP リクエストを実行出来る API を定義- PSR-7 互換- Locust や k6 などを参考にした
AssertableResponseInterface- assertion も出来るし json body も取得出来る便利な Response API- これも PSR-7 互換
MiddlewareInterface- リクエスト間で共通の処理を行える API- これも PSR-7 互換- 暗号化(ボディ改変)・認証(ヘッダ改変)などを行える
ExecutorInterface- 実際に「シナリオを無限に実行し続ける」 API- OS Signal などで途中でキャンセル出来る- ここで「非同期」を発動！
AmphpExecutor非同期処理のコア部分の実装ループでたくさん並行に実行していくTODO は色々あるがベースは大体これ
Heavyrain の未来- 「シナリオテスター」として 1 並列でシナリオが一通り動く- Ramp-up(ちょっとずつ同接が増えていく) の仕組み- 数万 rps, 数十万 rps の負荷をかけれるようになる- 複数マシンを使った 分散負荷かけ環境- OpenAPI 3.0 から ClientInterface 実装を自動生成- HARReporter によるシナリオ可視化- Locust のような Web GUI- Amphp の詳細は PHPCon 2023(東京) で話します！！
次は東京でで会いましょう！
北海道でも会いましょう！
https://www.infiniteloop.co.jp
myamagishi
3150
nano72mkn
ostk0069
kishida
minako__ph
codemountains
ivargrimstad
okuzawats
suzukimar
takefumiyoshii
chinen
marcelosomers
paigeccino
destraynor
trishagee
afnizarnur
aarron
tmm1
scottboms
zenorocha
jponch
mojombo
speakerdeck