Upgrade to Pro — share decks privately, control downloads, hide ads and more …

実測データからサービスの成長余力を測る。負荷シナリオ・テストデータ・限界値の設計

zosokh
November 17, 2026

 実測データからサービスの成長余力を測る。負荷シナリオ・テストデータ・限界値の設計

Cloud Native Days Winter 2026

2026/11/18

zosokh

November 17, 2026

Transcript

54 slides
  1. はじめに 試験で知りたい事👉「限界点」「余力」「打ち手」の 3 つ 限界点 現状本番のピーク 余力 打ち手で延びる部分 限界点 余力

    打ち手 何が、どこまでで、 今のピークとの差は 何をすれば限界点が延びて、 どうなると限界か どれくらいか コストがどれくらいか 4
  2. はじめに 負荷をかけるのはツールがやってくれる 👈 難しいのはその前 難しいのはこっち 何を叩く? 👉 シナリオ どんなデータで? 👉

    テストデータ どこまで上げる? 👉 限界の定義 負荷ツール 決めた量を 正確に流してくれる この3つを本番の実測からどう組み立てたかの話 5
  3. 本日の流れ 本日のはなし 01 02 03 04 05 06 07 ゴール

    シナリオ データ 限界 基盤 翻訳 まとめ 今日の中心:シナリオ・データ・限界の設計 結果を事業の言葉に 6
  4. 01|ゴールを先に決める • 01 ゴール ©Kyash Inc. ◦ 02 シナリオ ◦

    03 データ ◦ 04 限界 ◦ 05 基盤 ◦ 06 翻訳 ◦ 07 まとめ 7
  5. ゴールを先に決める 「◯ req/s 耐えた」だけでは何も答えられない どの API を? ◯◯ req/s 耐えた

    何をもって限界? どんなデータで? 👉 限界点・余力・打ち手の、どれにも答えられない 8
  6. ゴールを先に決める 試験前に、回答欄が空いたQ&A表を作った 誰の関心 問い 経営 キャンペーンで多くの人が一斉にアプリを開いて も大丈夫か マーケ 一斉通知でどこまで送客できるか 決済

    決済が集中しても承認できるか 全体 限界を延ばすには何をして、コストがどれぐらいか 試験の後に入る答え 👉 ここから先の設計の判断は、すべてこの空欄を埋めるため ゴールを、試験の前に経営・事業側と共有しておく 10
  7. 02|シナリオ(何を叩くか) ◦ 01 ゴール ©Kyash Inc. • 02 シナリオ ◦

    03 データ ◦ 04 限界 ◦ 05 基盤 ◦ 06 翻訳 ◦ 07 まとめ 12
  8. シナリオ リクエスト回数だけで選ぶと、選択から落ちるAPIがある 回数の多い順 上位 重さ(処理時間の合計)の多い順 A 起動のたびの軽い取得 B 一覧の集計 B

    一覧の集計 C 特定画面の重い一覧表示 A 起動のたびの軽い取得 回数で選ぶと、ここだけ ⋮ 下位 C 上位 特定画面の重い一覧表示 👉 回数の上位だけ選ぶと、C が試験から漏れる 14
  9. シナリオ 過去最大のスパイクと普段で、ランキングを比較 普段 スパイク時 1 位 API ① 1 位

    API ① 2 位 API ② 2 位 API ② 3 位 API ③ 3 位 API ④ 4 位 API ④ 4 位 API ③ 5 位 API ⑤ 5 位 API ⑤ 顔ぶれも順位もほとんど同じ だった 17
  10. シナリオ 同じシナリオ部品のまま、「総量」を変えるだけで済んだ 平常時 画面X スパイク時 ×総量 画面X 画面Y 画面Y 画面Z

    画面Z mode: normal / spike 平常時とスパイク時で、別々のシナリオは作らないで進めた 18
  11. シナリオ リクエスト比重は「API」ではなく「画面」単位で組む 画面 X 開かれる割合 ◯% 部品 API ① API

    ② API ③ 画面毎に呼ばれ るAPIのまとま ユーザー 画面 Y 開かれる割合 ◯% り API ② API ④ 比重 本番の API 構 画面 Z 開かれる割合 ◯% 成比に合うよう API ⑤ に当てはめる 19
  12. シナリオ 画面・API・全体総量をコントロール 設定ファイル(YAML)の抜粋 mode: normal # normal / spike で、部品は共通・重みだけ替える

    modes: normal: screens: screen_x: weight: ◯ # 画面ごとの係数:開かれる割合 calls: # API ごとの係数:1 回開いたときの平均の呼び出し回数 api_1: 1 # 必ず 1 回 api_2: 1.3 # 必ず 1 回 + 30% の確率で 2 回目 api_3: 0.6 # 60% の確率で 1 回(条件付きで出る UI 部品) screen_y: { weight: ◯ } # calls を書かなければ、全 API 1 回 spike: screens: screen_x: { weight: ◯, calls: { ... } } 20
  13. シナリオ 測らないものも決めた 試験しないと分からないか? 本当にサービスの課題か? 例:1件ずつ順番に処理するバッチ 1件の処理時間 × 件数 = 何件まで時間内に終わるか

    上限が設定で決まっているもの(同時実行数・接続数)も、設定値を読めば頭打ちの場所が先に分かる 👉 試験の前に、計算で分かる限界は先に外す 22
  14. 03|テストデータ(何で叩くか) ◦ 01 ゴール ©Kyash Inc. ◦ 02 シナリオ •

    03 データ ◦ 04 限界 ◦ 05 基盤 ◦ 06 翻訳 ◦ 07 まとめ 23
  15. テストデータ 選定したAPIが触るテーブルだけデータを増やす API A テーブル テーブル テーブル テーブル a b

    c d テーブル テーブル テーブル テーブル e f g h API B API C 触らないテーブルは増やさない(答えが変わらない) 26
  16. テストデータ 試験に使うアプリユーザーの準備 普通 3つの層を用意 分け方 本番の分布から 3 つの 層に 混ぜ方

    比率を決めて混ぜる。結 多い とても多い 果は層別に見る(04 へ) ユーザーあたりのデータ量 → 27
  17. テストデータ 将来版「◯年後相当」データの準備。補正と成長の2ステップ × 補正 試験環境の今 × 成長 今の本番相当 ◯年後相当 成長の推計

    今の量 ×(1 + 年間の増加率 × 期間と成長の重み) 目標ユーザー数は事業計画から。係数は『どのデータを 1 倍とした値か』を決めておく 👉試験手順を踏まえて、今の本番データからまた作るか、試験用データから作るか 28
  18. 04|限界(どこで止めるか) ◦ 01 ゴール ©Kyash Inc. ◦ 02 シナリオ ◦

    03 データ • 04 限界 ◦ 05 基盤 ◦ 06 翻訳 ◦ 07 まとめ 29
  19. 限界の測り方(負荷の停止条件) 止める条件は 4 つ エラー率 ◯% P99 が出だしの ◯ 倍

    利用者が失敗を体感し始める線 普段のP99が揺れるので、絶対値ではなく 倍率で DBの CPU◯%(平均) 十分性ラインに到達 最大値は普段から跳ねるので、平均で。DB 届けば十分。限界まで押し切らない ごとに見る どれか 1 つに当たったら、ダッシュボードを見ている人が止める 32
  20. 限界の測り方 平均ではなく 「P99」 で見る理由 平均 平均 大多数の速い応答に埋もれ る P99 P99

    一部の人だけ遅い状態が見 応答時間 → える ここを拾い上げる 33
  21. 限界の測り方(監視) 監視ダッシュボードは「止める判断」と「後の報告」の両方に使 う 試験中:ダッシュボード 試験後:Notebook 何を見て止めるかを、盤面に書いておく 時間を試験の範囲に固定 即時の判断は、すぐ届く指標で 盤面と同じグラフ・API 別の

    P99・段ごとの表・経緯 👉 Datadog そのまま結果報告の素材になり、「あの段で何が起きていたか」をいつでも見返せる Notebook MCPを利用して試験監視用ダッシュボードもNotebookまとめも時間かけずに作る 35
  22. 限界の測り方(余談) 余談:「P99」を 2 種類使っていた 1 応答時間のパーセンタイル 2 ユーザーの層 何の分布か:応答時間 何の分布か:ユーザーごとのデータ量

    目的:平均で見えない「一部だけ遅い」を捉え 目的:普通・多い・とても多いユーザーを本番 る。止める条件に使う の比率で混ぜ、層別に見る 36
  23. 05|実行の基盤と安全 ◦ 01 ゴール ©Kyash Inc. ◦ 02 シナリオ ◦

    03 データ ◦ 04 限界 • 05 基盤 ◦ 06 翻訳 ◦ 07 まとめ 40
  24. 実行の基盤と安全 構成:DLT + Locustで叩き、Datadogで見る DLT(Distributed Load Testing on AWS) 負荷

    Locust Locust Locust 試験環境 Datadog (本番に近いスペッ ダッシュボード ク) ・Notebook 試験のたびに立ち上げ、終わった ら消す S3:全リクエストの記録 → 後から何度でも集計し直せる 41
  25. 実行の基盤と安全 試験時の準備。「3か所」のワンタッチ切り替え 負荷元は試験のたびに立ち上げ、受ける側は既存の検証環境をそのまま使います。 試験の間だけ、受ける側の3 か所を切り替えます。 かける 受ける 既存の検証環境 スペックを引き上げ DLT(AWS

    公式の構成) 1 Locust 見る 2 ECS 試験用 DB 向き先を切替 Locust 3 外への通信を止める 試験のたびに立ち上げ、 終われば消す 外部サービス 既存の DB 既存 DB の snapshot から作り、 データを足す。試験以 外は snapshot にし て停止 試験では使わない Datadog ダッシュボード ・Notebook 試験ごとに AI で作成・監視 43
  26. 実行の基盤と安全 毎回同じように始めて、同じように戻す 準備 実行 撤収 ・DB の増強・接続先の切替 ・素振り(設定・経路・ダッシュ ・キューを空にしてから戻す ・キャッシュの暖気

    ボード・同じ形か) (順序が大事なものは順序ごと ・外部へ出る通信を止める → 本計測 書く) ・定期ジョブの一時停止・告知 ・止める判断は人が行う 切替と戻しはそれぞれ1コマンド 44
  27. 06|事業への翻訳 ◦ 01 ゴール ©Kyash Inc. ◦ 02 シナリオ ◦

    03 データ ◦ 04 限界 ◦ 05 基盤 • 06 翻訳 ◦ 07 まとめ 45
  28. 事業への翻訳 単位は指標ごとに伝わるものを選ぶ 決済 アプリ 人数で 「普段のピークの何倍」で API 人 API 1

    回の決済 = 1 人の行動 1 回開くと 複数の API。 人 API 開く回数も 人それぞれ API 47
  29. 事業への翻訳 空欄が埋まった 誰の関心 問い 試験の後に入った答え(数字は伏せ字) 経営 キャンペーンで一斉にアプリを開いても 大丈夫か 普段のピークの約 ◯

    倍まで。その先で最初に 詰まるのは ◯◯ マーケ 一斉通知でどこまで送客できるか ◯ 倍を超えるなら、通知を時間で分けるか、 その日だけ増強 決済 決済が集中しても承認できるか 1 時間に ◯ 人分の決済まで承認できる 全体 延ばすには何をして、いくらかかるか ◯◯ を増強すれば ◯ 倍まで。費用は 1日あ たり ◯ 円 👉 req/s の話をせずに、経営向けの報告になった 48
  30. 事業への翻訳 最初に詰まる場所と、どこまで延ばせるかが言えるように なった アプリ 決済 干渉 打ち手 最初に詰まる場所を アプリとは別に、余 機能をまたいだ影響

    打ち手ごとに、どこ 特定できた 力を測れた を確かめた まで延びるかを比べ られた → これが事業側の判断材料になった 49
  31. 07|AI の使いどころ・今後・まとめ ◦ 01 ゴール ©Kyash Inc. ◦ 02 シナリオ

    ◦ 03 データ ◦ 04 限界 ◦ 05 基盤 ◦ 06 翻訳 • 07 まとめ 50
  32. AI の使いどころ 集計・解析は AI に、決めるのは人 工程 AI がやったこと 人が決めたこと シナリオ

    トレースの集計、回数と重さの2通りの並べ替え、重み の当てはめ、構成比の比較、シナリオやrunbookなど プログラム 線の引き方、除外、コードレ ビュー データ 量の比・形の比を測るデータ分析、生成スクリプト 補正と成長の前提 測定 測定データの整頓。層別・画面別に集計 止める条件、止める判断 AIが導いた内容は本番の実測で裏を取る 51

More Decks by zosokh

Other Decks in Technology