Share
Embed
その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Performance review with k6 and OpenTelemetry
CloudNative Days Winter 2026の登壇資料です
https://cloudnativedays.jp/sessions/3193
ymotongpoo
November 17, 2026
Transcript
39 slides
-
その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 CloudNative Days Winter 2026 – November 18th, 2026
山口 能迪 (@ymotongpoo) Staff Developer Advocate, Grafana Labs -
山口 能迪 (やまぐちよしふみ) Staff Developer Advocate Grafana Labs 専門領域 オブザーバビリティ
OpenTelemetry SRE全般 @ymotongpoo -
サンプル サンプルの構成 github.com/ymotongpoo/k6-otel-perf-review サンプルは、catalog-api と inventory の2つのサ ービス 商品の情報を返す
catalog-api が、在庫を返す inventory を呼ぶ どちらもGoで書き、OpenTelemetryで計装 処理時間は time.Sleep で作った再現用の構成 k6 商品の情報 負荷を生成 /items/{id} catalog-api 在庫 同時に呼ぶのは4件まで あふれた分は空きを待つ inventory 同時に6件まで処理 /stock/{id} 待ちが8件を超えると503 3 / 42 -
サンプル 修正の実施 4から16へ上げる catalog-api が同時に呼ぶ上限を、 4は、以前の担当者が inventory を守るた めに
入れた値 応答が 遅 いという報 告を受 けた開 発担当が、 16に上 げた 上限4でさ ばけるのは毎秒約77件(4件 ÷1件あたり約52ms) 上限16にす ると制約は inventory へ移り、 毎秒約120件(6件÷50ms) k6 負荷を生成する catalog-api 同時に呼ぶのは4件まで (修正で16件) 上限16 ここが制約 inventory 同時に6件、 1件50ms。キューが8件を超えると503 処理枠6 待機キュー 8(超えると503) 4 / 42 -
2つの評 価 開発側と運用側の評価の食い違い 合否の基準は同じなのに、 判定が分かれた 合否の基準は、 p(95)が200ms未満、エ ラー率が1%未満 開発担当のテ
ストでは、修正の前後で届いたリクエストの量が1.5倍違う テスト ( 60秒) 開発担当:10人が応答を 待っては次を送る 運用担当:毎秒120件を 指定して送る 修正前 (上限 4) 合格 完了は毎秒77.1件 p(95) 151.9ms エラー率 0% 不合格 完了は毎秒77.2件 p(95) 2,613ms エラー率 0% 修正後(上限 16) 合格 完了は毎秒117.9件 p(95) 102.5ms エラー率 0% 不合格 完了は毎秒119.7件 p(95) 125.1ms エラー率 1.28% 5 / 42 -
k6の負 荷モデル 次のリクエストを送るタイミング 負荷モデルは、次のリ クエストをいつ送るかで2つに分かれる 閉じたモデル constant-vus 前のレスポンスが返る 開いたモデル
次のリクエストを送る 前のレスポンスが返ってから次を送る constant-arrival-rate 決めた間隔が経つ 空いているVUに渡す リクエストを送る 応答と関係なく、決めた頻度でリクエストを送る VU (virtual user) は利用者1人分の実行単位 7 / 42 -
閉じたモ デル 閉じたモデルの頭打ち VUが4を超えると、完了の頻度は毎秒77件で止まる 開発担当の10VUのテ ストに届いたのは、修正前が毎秒77.1件、修正後が毎秒117.9件 届いた量が 違うので、 p(95)が152msから103msに縮んだ差は修正の効果だけではない
応答時間の中央値 68.6件/秒 77.1件/秒 77.3件/秒 4VU 8VU 16VU 58.0ms 103.4ms 206.2ms 毎秒77件で止まる 応答時間だけが伸びる 修正前のバージョン (上限 4)に constant-vus で、VUの数ごとに30秒計測 8 / 42 -
開いたモ デル 開いたモデルで測り直す 毎秒100件を指定すると、修正前のp(95)は2.6秒にな る 修正前は、 上限を超えた分が同時実行数の制限の前で待ち続ける 修正後も、毎秒150件では21.2%が 502。inventory
がさ ばけるのは毎秒120件まで バージョン 指定した頻度 完了の頻度 p(95) エラー率 修正前 (上限4) 100件/秒 77.0件/秒 2,612ms 0% 修正後 (上限16) 100件/秒 99.9件/秒 67.0ms 0% 修正前 (上限4) 150件/秒 77.2件/秒 2,621ms 0% 修正後 (上限16) 150件/秒 149.7件/秒 133.8ms 21.2% 9 / 42 -
テストの負荷モデルは、 本番で リクエストがどう届くかで選ぶ 開いたモ デル 閉じたモ デル 応答の速さと関係なくリ
クエストが届く 決まった数の呼び出し元が、応答を 待ってから次を送る 10 / 42 -
dropped_iterations 始められなかった反復 (イテレーション) 毎秒100件を指定しても、1,178回の反復は始まらなかった 6,001 回 始まるは ずだった反復 4,823
回 実際に始まった反復 1,178 回 空いているVUが 無く、 捨てられた反復 dropped_iterations 修正前のバージョンに毎秒100件を60秒 ( maxVUs は200) 12 / 42 -
合否の判 定 VUの不足と合否の判定 負荷が足りないテ ストも、合格と判定される 完了の頻度 61 件/秒 指定は毎秒100件
応答時間とエラー率の閾値 dropped_iterations 約2,340 始められなかった反復 回 合格 終了コード0。k6は警告をログに 出すだけで、 判定は変えない 修正後のバージョン (上限 16)に毎秒100件を指定し、preAllocatedVUs を2、maxVUs を4に制限 14 / 42 -
合否の判 定 dropped_iterations を閾値に入れる 終了コード99で不合格にな る count==0 を足すと、 const
thresholds = { http_req_duration: ['p(95)<200'], http_req_failed: ['rate<0.01'], }; if (__ENV.CHECK_DROPPED === 'true') { thresholds.dropped_iterations = ['count==0']; } サンプルのk6のテ ストスクリプト( k6/test.js )の閾値の部分を抜粋し、コ メントは省略。CHECK_DROPPED で切り替えるのは、閾値の ほかは同じ条件で、 閾値の有無によ る判定を比べるた め 15 / 42 -
負荷を生 成する側 負荷を生成する側のCPU k6のCPUが足りないと、リ クエストがま とめて届く 0.2コアでは要約に異常が出ないのに、inventory の処理枠(
6件)と待ち行列( 8件)があ ふれる k6のCPU 完了の頻度 p(95) エラー率 始められなかった反復 10msの間に届いた 最大の件数 1コア 99.9件/秒 67.2ms 0% 0回 2件 0.2コア 99.7件/秒 111.6ms 1.17% 0回 15件 0.1コア 95.0件/秒 304.0ms 8.07% 260回 未計測 修正後のバージョンに毎秒100件。 届いた件数は catalog-api のサ ーバースパンの開始時刻で集計 16 / 42 -
テレメトリー テストとアプリのテレメトリーを集める アプリケーションの中を見るた めに、2つのサ ービスを計装する OpenTelemetryのGo SDKとotelhttpで計装し、Grafana Alloyで集める
k6 メトリクスだけ送る catalog-api 3つのシグナル inventory 3つのシグナル Mimir メトリクス Grafana Alloy OTLPを振り分ける Tempo トレース Grafana 横断して調べる Loki ログ 18 / 42 -
テレメトリー トレースの作り方 トレースは、 ア プリの計装と traceparent の伝搬で作る 識別子を渡す
catalog-api は inventory を呼ぶとき、traceparent ヘッダーでトレースの k6のOpenTelemetry出力が送るのは、メ トリクスだけ 修正前のバージョンに閉じたモ デルの1VU。左の列の字下げがス パンの親子関係 19 / 42 -
メトリクス 同じ時間範囲のメトリクス 調べる候補は、修正の前後で違う p(95) (ヒストグラムから求めた値) 修正前、毎秒100件 修正後、 毎秒150件 k6から見た応答時間
4,844ms 240ms catalog-api のサ ーバー側の処理時間 4,875ms 240ms catalog-api が inventory を呼んだ時間 73ms 239ms inventory のサ ーバー側の処理時間 73ms 239ms inventory が 503を返した頻度 0件/秒 31.9件/秒 調べる候補 catalog-api の中 inventory の中 p(95)はヒ ストグラムのバ ケットの中を補間した値。応答の約8割が2,500〜5,000msのバ ケットに入るた め、k6の要約の2,612msとは 比較不可 20 / 42 -
トレース トレースで1件ずつ確かめる メトリクスが示すのは、 同じ時間帯に伸びたこ とまで スパン (中央値) ーバースパン
catalog-api のサ 修正前、 毎秒100件 修正後、 毎秒150件 2,569.9ms 118.6ms 51.5ms 112.8ms ーバースパン inventory のサ 50.6ms 112.0ms inventory の lookup stock 50.5ms 50.8ms 時間の内訳 中央値で約2,519msが、inventory を 呼ぶ前 inventory の中の約60msは、 処理枠の catalog-api の クライアントスパン 空きを待つ時間 集計の対象は、inventory が 受け付けたリ クエストのトレース (修正前は 300件、修正後は300件のう ち234件) 21 / 42 -
計装 足すスパンの区間を先に決める 確かめたいのは「 inventory を呼ぶための空きを待つ時間」 catalog-api のサーバースパン クライアントスパン 終わり:空きを得た
api内の処理 約5ms スパンなし 空きを待つ wait for backend slot inventory のサーバースパン 処理枠の 空きを待つ スパンなし 在庫を調べる lookup stock 約50ms 始まり:空きを要求 始まりは空きを要求した時点、 終わりは空きを得た時点。オ レンジが足すスパン、灰色はス パンの無い区間 23 / 42 -
計装 待機区間のスパン 空きを待つ間だけ、 ス パンを作る スパンは、 ど のリ
クエストが何ms待ったかを示す 種別は INTERNAL acquire := func(ctx context.Context) error { start := time.Now() ctx, span := tracer.Start(ctx, "wait for backend slot", trace.WithSpanKind(trace.SpanKindInternal)) defer span.End() 抜粋。待っている件数を数える行は省略 24 / 42 -
計装 待ち時間のヒストグラム 同じ待ち時間を、 ヒ ストグラムにも記録する ヒストグラムは、 ダ ッシュボードやア
ラートで待ちの増加を見るた めに使う select { case slots <- struct{}{}: waitHist.Record(ctx, time.Since(start).Seconds()) return nil case <-ctx.Done(): span.SetStatus(codes.Error, "canceled while waiting") return ctx.Err() } } 25 / 42 -
計装の結 果 空きを待つスパンを足した結果 サーバースパンのほぼ全体を、 空きを待つスパンが占める サーバースパン2,568msのう ち、2,510msが空きを待つスパン inventory の呼び出しは52ms
修正前のバージョンに毎秒100件。 300件の中央値 26 / 42 -
再テスト 頻度を変えて比べる 毎秒90件のテ ストで、修正の効果がは っきり出た 毎秒120件では、 修正後もエ
ラー率が1%を超える 毎秒90件と120件で5回ずつ繰り返しても、判定は毎回同じ ( 120件のエ ラー率は1.26〜1.79%) 指定した頻度 修正前 p(95) 修正前 エラー率 修正後 p(95) 修正後 60件/秒 67.6ms 0% 67.4ms 0% 90件/秒 2,618ms 0% 67.3ms 0% 120件/秒 2,623ms 0% 126.7ms 1.65% 150件/秒 2,629ms 0% 133.3ms 20.92% エラー率 28 / 42 -
呼び出し先への影 響 修正後の待ち時間の発生箇所 ほぼ0にな る catalog-api で空きを待つ時間は、 そのかわり、inventory の中で処理枠の空きを待つ
ーバースパンと lookup stock の差の中央値は51.3ms inventory のサ 修正後のバージョンに毎秒120件 29 / 42 -
inventory の上限に近づくと、 待ちが inventory へ移る 修正で、処理能力の制約は毎秒約77件の catalog-api から、 毎秒約120件の inventory
へ移った 毎秒90件では、inventory の中の待ちはほぼ0 上限を64まで上げても、毎秒120件のエ ラー率は1.35%で、16のと きとほとんど変わらない 30 / 42 -
記録 記録に残らなかった設定 同じコ ードと同じコ マンドでも、設定が違えば別のテ ストにな
る サンプルを作る途中で、 Docker Composeの設定ファイル( compose.yaml )のデ フォルト値を 書き換え、inventory の待ち行列の上限を32から8へ変えていた。 テストの記録は引数の1行だけで、 リビジョンも実際の値も残っていない テスト (修正後のバージョンに毎秒150件) p(95) エラー率 待ちの場所 記録したテ スト(待ち行列 8) 133.8ms 21.2% inventory の待ち行列があ ふれる 同じコ マンドの再実行(待ち行列 32) 1,711.7ms 0% catalog-api の制限の前 32 / 42 -
記録 テストの結果に紐付けるもの 1つの結果に、コ ードのリ ビジョンと設定を1組ずつ紐付ける コードのリ ビジョン
テストスクリプトとテ スト対象のサ ービス。 リポジトリのコ ミットで固 定し、記 録には スクリプトのハ ッシュとイ メージを残 す テストの設定 負荷モデルと頻 度、サ ービスが実際に使った設定、 k6とサ ービスのCPUの割 り当て。コマンドに 出てこない値 も、テ ストごとの記 録に残 す 結果と一緒に、 完了の頻度、dropped_iterations 、k6のCPU使用率、開始と終了の時刻、調査に使ったク エリも記録 34 / 42 -
記録 記録からやり直す コードをコ ミットから、設定を記録から戻すと、判定は一致した 設定は記録から戻す (負荷の 条件と、各サービスやk6の実際の設定) コードはコ
ミットから戻す。記録のハ ッシュ、イ メージ、CPUの割り当てと比べ、違えば警告する( 今回は不一致0件) テスト対象が別のリ ポジトリなら、テ ストの側でテ スト対象のリ ビジョンを固定する テスト 完了の頻度 p(95) エラー率 判定 記録したテ スト 119.8件/秒 125.6ms 1.53% 不合格 記録からの再実行 119.8件/秒 125.6ms 1.57% 不合格 修正後のバージョンに毎秒120件をかけたテ ストの記録を使用 35 / 42 -
まとめ 変更を評価する手順 変更の評価は、記録を次の仮説につなげて繰り返す 負荷モデルを利用条件から選び、 指定した負荷が実際にかかったかを 確かめる 仮説を立てる 同じ時間範囲のメ トリクスで候補を絞り、測る区間を決めてス
パンを 足す 計装を足す 結果をコ ードのリ ビジョンと設定に紐付けて残し、次の仮説につなげる 変更する 同じ負荷で変更前後を繰り返し比べ、呼び出し先への影響も確かめる 再テストする 記録を残す 36 / 42 -
Grafana Labs ブースとObservability Surveyのご案内 Grafana Labsのブ ース 調査にご
協力ください grafana.com/observability-survey/ 38 / 42