秒間1800リクエストの世界 / The world of 1800 reqs per sec

by HASEGAWA Tomoki

Slide 1

Slide 1 text

1,800リクエスト/秒の世界 The world of 1,800 requests / sec 長谷川智希 HASEGAWA Tomoki

Slide 2

Slide 2 text

長谷川智希デジタルサーカス株式会社副団長CTO Digital Circus, Inc. Vice-master CTO Tokyo, Japan @tomzoh

Slide 3

Slide 3 text

ライフワーク: Web / iOSアプリ開発, ビール, 電子工作,  サッカー観戦, レンタルカートレース, … 長谷川智希 Web / iOS App Development, Beer, IoT, Watch soccer match, Rental Kart Racing, … デジタルサーカス株式会社副団長CTO Digital Circus, Inc. Vice-master CTO Tokyo, Japan Lifeworks: @tomzoh

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

No content

Slide 6

Slide 6 text

WE ARE HIRING!! Web Development Mobile App Development （）（iOS, Android) http://www.dgcircus.com Omotesando, Tokyo

Slide 7

Slide 7 text

今日のテーマ The world of 1,800 requests / sec 1,800リクエスト/秒の世界 Today’s theme

Slide 8

Slide 8 text

システム概要

Slide 9

Slide 9 text

今回の対象システム • Web + API + iOS/Android アプリ • 就職活動関連アプリ • ユーザ数: 100万前後

Slide 10

Slide 10 text

今回の対象システム • Web + API + iOS/Android アプリ • 就職活動関連アプリ • ユーザ数: 100万前後

Slide 11

Slide 11 text

システム構成 Ȑ Ȑ 2 × m4.large vCPU: 2 / memory: 8GB  EC2 RDS db.m3.xlarge vCPU: 4 / memory: 7.5GB iOS / Android Mobile Apps 1,000,000users

Slide 12

Slide 12 text

技術スタック

Slide 13

Slide 13 text

技術スタック今日の話

Slide 14

Slide 14 text

負荷がやってくる

Slide 15

Slide 15 text

なぜわかっている？

Slide 16

Slide 16 text

03/01 0:00 就職活動解禁

Slide 17

Slide 17 text

負荷 • 負荷がやってくる

Slide 18

Slide 18 text

負荷 • 負荷がやってくる • 耐えられる様にしたい • 負荷を想定 • 耐えられそうな仮構成を作る • 負荷を作り出して構成を調整

Slide 19

Slide 19 text

負荷 • 負荷がやってくる • 耐えられる様にしたい • 負荷を想定 • 耐えられそうな仮構成を作る • 負荷を作り出して構成を調整 • どうやって耐えるか • Webサーバ（EC2）のスケールアウトで対応したい • DB（RDS）がツラければスケールアップする

Slide 20

Slide 20 text

• 耐えられる様にしたい • 負荷を想定 • 耐えられそうな仮構成を作る • 負荷を作り出して構成を調整負荷 • 負荷がやってくる • どうやって耐えるか • Webサーバ（EC2）のスケールアウトで対応したい • DB（RDS）がツラければスケールアップする

Slide 21

Slide 21 text

負荷の計算に使える材料

Slide 22

Slide 22 text

負荷の計算 • 負荷の計算に使える素材 • サイト全体のWebでのページビュー/秒 • ネイティブアプリのユーザ比率

Slide 23

Slide 23 text

負荷の計算 • 負荷の計算に使える素材 • サイト全体のWebでのページビュー/秒 • ネイティブアプリのユーザ比率 10,000PV/sec

Slide 24

Slide 24 text

負荷の計算 • 負荷の計算に使える素材 • サイト全体のWebでのページビュー/秒 • ネイティブアプリのユーザ比率 10,000PV/sec 30%

Slide 25

Slide 25 text

負荷の計算 • 負荷の計算に使える素材 • サイト全体のWebでのページビュー/秒 • ネイティブアプリのユーザ比率 10,000PV/sec 30% ×

Slide 26

Slide 26 text

＼3,000 PV/sec ／

Slide 27

Slide 27 text

＼3,000 PV/sec ／ざわ... ざわ...

Slide 28

Slide 28 text

まあ待て

Slide 29

Slide 29 text

落ち着け

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Ȑ API

Slide 32

Slide 32 text

PV APIコール

Slide 33

Slide 33 text

PV APIコール ≠

Slide 34

Slide 34 text

PV APIコール ≠ 変換

Slide 35

Slide 35 text

PV → API • ユーザがどういう行動を取るか • シナリオを作成 • シナリオの各ステップで発生するAPIコールをリストアップ • シナリオの各ステップから、同じ動作をWebで実施した場合に発生するPVに変換 • PV → APIコールの変換ができる

Slide 36

Slide 36 text

シナリオ No. 操作ユーザ操作処理時間仮想 PV 1 アプリ初回起動 1 2 ログイン画面からのログイン処理 10 1 2 3 ホーム表示 2 1 1 4 検索タブ表示 2 1 5 検索 10 2 3 6 検索結果一覧画面表示 1 7 （詳細画面 → エントリー）x 30 3,000 120 120

Slide 37

Slide 37 text

シナリオとその割合シナリオユーザ操作処理時間仮想 PV 創出 PV/秒シナリオ割合必要 PV/秒同時セッションシナリオ1 3,022 127 128 0.04 20% 600 14,761 シナリオ2 27 10 8 0.22 40% 1,200 5,550 シナリオ3 21 11 5 0.16 35% 1,050 6,720 シナリオ4 20 10 12 0.40 5% 150 375

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

シナリオが出来た

Slide 48

Slide 48 text

Slide 49

Slide 49 text

システム構成 Ȑ Ȑ 2 × m4.large vCPU: 2 / memory: 8GB  EC2 RDS db.m3.xlarge vCPU: 4 / memory: 7.5GB

Slide 50

Slide 50 text

システム構成 Ȑ Ȑ 2 × m4.large vCPU: 2 / memory: 8GB  EC2 RDS db.m3.xlarge vCPU: 4 / memory: 7.5GB Ȑ Ȑ 16 × m4.large vCPU: 2 / memory: 8GB  EC2 RDS db.m3.xlarge vCPU: 4 / memory: 7.5GB Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ

Slide 51

Slide 51 text

No content

Slide 52

Slide 52 text

Apacheをちゃんと設定する • Apacheのプロセス数をいくつにする？

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Apacheをちゃんと設定する • Apacheのプロセス数をいくつにする？ $ ps aux USER PID %CPU %MEM VSZ RSS TTY www-data 11270 0.0 0.3 441636 26720 ? STAT START TIME COMMAND S 06:25 0:02 /usr/sbin/apache2 -k start Ȑ m4.large vCPU: 2 / memory: 8GB

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Apache設定 Timeout 10 KeepAliveTimeout 120 StartServers 200 MinSpareServers 200 MaxSpareServers 200 ServerLimit 200 MaxClients 200

Slide 59

Slide 59 text

Slide 60

Slide 60 text

負荷メーカーと言えば彼

Slide 61

Slide 61 text

No content

Slide 62

Slide 62 text

JMeterでシナリオを実装する

Slide 63

Slide 63 text

JMeterでシナリオを実装するシナリオウェイト処理時間仮想 PV 創出 PV/sec シナリオ割合必要 PV/秒同時セッションシナリオ2 27 10 8 0.22 40% 1,200 5,550

Slide 64

Slide 64 text

JMeterでシナリオを実装するシナリオウェイト処理時間仮想 PV 創出 PV/sec シナリオ割合必要 PV/秒同時セッションシナリオ2 27 10 8 0.22 40% 1,200 5,550

Slide 65

Slide 65 text

シナリオが実装できた

Slide 66

Slide 66 text

よし負荷テストだ

Slide 67

Slide 67 text

No content

Slide 68

Slide 68 text

実行！！

Slide 69

Slide 69 text

／ファー＼実行！！

Slide 70

Slide 70 text

No content

Slide 71

Slide 71 text

Macのファン全開

Slide 72

Slide 72 text

Macのファン全開 • 今回欲しかった並行実行数は27,000セッション。 • Mac 1台では負荷をかけきれない。

Slide 73

Slide 73 text

どうしたか

Slide 74

Slide 74 text

スケールアウト

Slide 75

Slide 75 text

システム構成 Ȑ Ȑ 16 × m4.large vCPU: 2 / memory: 8GB  EC2 RDS db.m3.xlarge vCPU: 4 / memory: 7.5GB Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ

Slide 76

Slide 76 text

システム構成 Ȑ Ȑ 16 × m4.large vCPU: 2 / memory: 8GB  EC2 RDS db.m3.xlarge vCPU: 4 / memory: 7.5GB Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ Ȑ 5 × m4.large vCPU: 2 / memory: 8GB EC2 Ȑ Ȑ Ȑ

Slide 77

Slide 77 text

Slide 78

Slide 78 text

Slide 79

Slide 79 text

No content

Slide 80

Slide 80 text

Slide 81

Slide 81 text

さて本格負荷テストだ

Slide 82

Slide 82 text

…

Slide 83

Slide 83 text

……

Slide 84

Slide 84 text

まったく捌けない

Slide 85

Slide 85 text

予想外にキツイ

Slide 86

Slide 86 text

予想外にキツイ • 負荷をかけ始めた瞬間にレスポンスが悪化し、  ELBから外される。 • すべてのWebサーバがELBから外されて  ゲームオーバー。 • 5分と保たない。

Slide 87

Slide 87 text

どうしよう

Slide 88

Slide 88 text

対策を考えよう

Slide 89

Slide 89 text

まず起動プロセスを整理

Slide 90

Slide 90 text

APIコール Ȑ

Slide 91

Slide 91 text

APIコール Ȑ 端末登録

Slide 92

Slide 92 text

APIコール Ȑ 端末登録デバイストークン登録

Slide 93

Slide 93 text

APIコール Ȑ 端末登録デバイストークン登録システム設定取得

Slide 94

Slide 94 text

APIコール Ȑ 端末登録デバイストークン登録システム設定取得 URLホワイトリスト取得

Slide 95

Slide 95 text

APIコール Ȑ 端末登録デバイストークン登録システム設定取得 URLホワイトリスト取得お知らせ取得

Slide 96

Slide 96 text

負荷対策 • APIの特徴: 多くは参照系かつ全員同じ。

Slide 97

Slide 97 text

負荷対策 • APIの特徴: 多くは参照系かつ全員同じ。  →静的ファイル化してしまおう • CakePHPを使っている • app/webroot 配下にファイルを置けばApacheだけでリクエスト & レスポンスが完了する。 • CakePHPが実行されないので（PHP比）超高速に処理可能。

Slide 98

Slide 98 text

どうなったか

Slide 99

Slide 99 text

爆★速

Slide 100

Slide 100 text

Ȑ システム設定取得

Slide 101

Slide 101 text

Ȑ システム設定取得

Slide 102

Slide 102 text

静的ファイル化 • いくつかのAPIを静的ファイル化  → 現実的な速度が出る様になった。 • 副作用:  管理画面から値を変更してもAPIに反映されない • この高負荷体制は数日間の時限なのであまり問題にならない。

Slide 103

Slide 103 text

負荷テスト完了

Slide 104

Slide 104 text

• Webサーバ、16 x m4.xlarge で大丈夫そう。 • 結局、4 x m4.4xlarge にした。 • Apacheのプロセス数は2,116。 • 大丈夫 = Apacheがエラーを吐かない • エラーを吐くとELBからはずされてサービスダウン負荷テストの結果

Slide 105

Slide 105 text

Slide 106

Slide 106 text

Slide 107

Slide 107 text

Slide 108

Slide 108 text

• Webサーバ、16 x m4.xlarge で大丈夫そう。 • 結局、4 x m4.4xlarge にした。 • Apacheのプロセス数は2,116。 • 大丈夫 = Apacheがエラーを吐かない • エラーを吐くとELBからはずされてサービスダウン負荷テストの結果お得

Slide 109

Slide 109 text

Slide 110

Slide 110 text

よし、これで万全！

Slide 111

Slide 111 text

そんなふうに考えていた時期が俺にもありました

Slide 112

Slide 112 text

さて当日

Slide 113

Slide 113 text

タイムスケジュール 2/28 10:00 サイトクローズ・アプリクローズ 16:00 PUSH通知 3/01 00:00 サイトオープン・アプリオープン 01:00 PUSH通知 11:00 アプリアップデート強制ON 2/27 12:00 PUSH通知

Slide 114

Slide 114 text

Slide 115

Slide 115 text

アプリアップデート強制ON PUSH通知

Slide 116

Slide 116 text

アプリアップデート強制ON PUSH通知天井張り付き

Slide 117

Slide 117 text

むむっ！？

Slide 118

Slide 118 text

タイムスケジュール 2/28 10:00 サイトクローズ・アプリクローズ 16:00 PUSH通知 3/01 00:00 サイトオープン・アプリオープン 01:00 PUSH通知 11:00 アプリアップデート強制ON 2/27 18:00 API静的化 12:00 PUSH通知

Slide 119

Slide 119 text

アプリアップデート強制ON PUSH通知

Slide 120

Slide 120 text

アプリアップデート強制ON PUSH通知

Slide 121

Slide 121 text

アプリアップデート強制ON PUSH通知 API静的化

Slide 122

Slide 122 text

ひと安心

Slide 123

Slide 123 text

Slide 124

Slide 124 text

アプリクローズ Ȑ 端末登録デバイストークン登録システム設定取得

Slide 125

Slide 125 text

アプリクローズ Ȑ 端末登録デバイストークン登録システム設定取得「アプリクローズ」

Slide 126

Slide 126 text

Slide 127

Slide 127 text

No content

Slide 128

Slide 128 text

No content

Slide 129

Slide 129 text

まあまあ…落ち着いた

Slide 130

Slide 130 text

Slide 131

Slide 131 text

2/28 9:00 JST 15:00 JST 21:00 JST 9:00 JST 3/1 3:00 JST サイト・アプリオープン RDS

Slide 132

Slide 132 text

2/28 9:00 JST 15:00 JST 21:00 JST 9:00 JST 3/1 3:00 JST サイト・アプリオープン 0:03JST 1,800リクエスト/秒 RDS

Slide 133

Slide 133 text

2/28 9:00 JST 15:00 JST 21:00 JST 9:00 JST 3/1 3:00 JST サイト・アプリオープン 0:03JST 1,800リクエスト/秒 RDS

Slide 134

Slide 134 text

昼になっても落ち着かない…

Slide 135

Slide 135 text

対策するか…

Slide 136

Slide 136 text

APIコール Ȑ 端末登録デバイストークン登録システム設定取得 URLホワイトリスト取得お知らせ取得

Slide 137

Slide 137 text

APIコール Ȑ 端末登録デバイストークン登録システム設定取得 URLホワイトリスト取得お知らせ取得静的静的静的

Slide 138

Slide 138 text

APIコール Ȑ 端末登録デバイストークン登録システム設定取得 URLホワイトリスト取得お知らせ取得静的静的静的動的動的

Slide 139

Slide 139 text

APIコール Ȑ 端末登録デバイストークン登録システム設定取得 URLホワイトリスト取得お知らせ取得静的静的静的動的動的初回のみ

Slide 140

Slide 140 text

APIコール Ȑ 端末登録デバイストークン登録システム設定取得 URLホワイトリスト取得お知らせ取得静的静的静的動的動的初回のみ起動のたび

Slide 141

Slide 141 text

No content

Slide 142

Slide 142 text

デバイストークン登録API、ユーザを探すSQLが遅いな…

Slide 143

Slide 143 text

デバイストークン登録API、ユーザを探すSQLが遅いな… 検索キーにインデックスが無い…

Slide 144

Slide 144 text

デバイストークン登録API、ユーザを探すSQLが遅いな… 検索キーにインデックスが無い… 開発環境で…

Slide 145

Slide 145 text

Slide 146

Slide 146 text

Slide 147

Slide 147 text

Slide 148

Slide 148 text

Slide 149

Slide 149 text

No content

Slide 150

Slide 150 text

本番に足したろ。

Slide 151

Slide 151 text

本番に足したろ。 mysql> alter table users add index …

Slide 152

Slide 152 text

本番に足したろ。 mysql> alter table users add index … 返ってこない…。しかし Ctrl + C も怖い。しばらく置いておこう…。

Slide 153

Slide 153 text

本番に足したろ。 mysql> alter table users add index … 返ってこない…。しかし Ctrl + C も怖い。しばらく置いておこう…。

Slide 154

Slide 154 text

本番に足したろ。 mysql> alter table users add index … 返ってこない…。しかし Ctrl + C も怖い。しばらく置いておこう…。 DBサーバの負荷がむっちゃ下がったんですが、何か起きてますか！？

Slide 155

Slide 155 text

RDS

Slide 156

Slide 156 text

インデックス追加完了 RDS

Slide 157

Slide 157 text

むっちゃサックサクに

Slide 158

Slide 158 text

めでたい！

Slide 159

Slide 159 text

まとめ

Slide 160

Slide 160 text

まとめ • 1,800リクエスト/秒の世界を体験した。 • 負荷試験 & 対策 • 負荷をかけるのにも工夫が必要。 • Apacheのエラーレートだけでなくサーバの  リソース利用状況もチェックするべき。 • チューニング • Apacheで完結するアクセスは爆速。 • レコード数が多いテーブルではインデックス特に大事。

Slide 161

Slide 161 text

あたりまえのことをあたりまえに

Slide 162

Slide 162 text

Thanks WE ARE HIRING @tomzoh プリーズ: #phpconfuk / ブログ / 懇親会

Slide 163

Slide 163 text

AWS / EC2の注意点 • いろいろなものに制限がある。 • EC2インスタンス数 • IPアドレス数 • どちらも申請すると上げてもらえるけど1〜2営業日必要 • 負荷テストをする時にも申請が必要 • これも1〜2営業日

Slide 164

Slide 164 text

告知

Slide 165

Slide 165 text

builderscon tokyo 2017 2017.08.3(木）〜5（土） https://builderscon.io/tokyo/2017 チケット販売中

Slide 166

Slide 166 text

iOSDC Japan 2017 https://iosdc.jp/2017/ スポンサー募集中 2017.09.15(金）〜17（日）

Slide 167

Slide 167 text

PHPerKaigi 2018 https://phperkaigi.jp スポンサー募集…するかも 2018.03.10(土） • PHPerのためのカンファレンス • 東京都練馬区 Coconeriホールにて • 朝から晩までテックトーク • 夕方からはビールを飲みながら • 夜はクラフトビールで懇親会

Slide 168

Slide 168 text

Thanks WE ARE HIRING @tomzoh プリーズ: #phpconfuk / ブログ / 懇親会