動画配信サービスの 人気番組配信のスパイクアクセスに、 サーバレスキャッシュで立ち向かう

#serverlessdays
https://serverless.connpass.com/event/290640/

Transcript

1. 動画配信サービスの 人気番組配信のスパイクアクセスに、 サーバレスキャッシュで立ち向かう 三浦一樹 北海道テレビ放送株式会社 Sonu Kim 株式会社Serverless Operations 2023/09/23
2. 自己紹介 三浦一樹 北海道テレビ放送株式会社 Sonu Kim 株式会社Serverless Operations
3. 今日のお話に出てくる 覚えておいて欲しい Limit
4. 今日のお話に出てくる AWS Service Limit AppSync Rate of request tokens DynamoDB Hot Partition 2,000 /s (soft limit) 3,000 read /s 1,000 wright /s (hard limit) 1,500KB秒以下のメモリとvCPU時間で1トークン 普通に使ってると、1 TokenConsumed / 1 query
5. サービス紹介
6. 2012年4月 サービス開始 前身のサービス PaaS を採用 フロントの改修が大変 スパイクに耐えられない 他の自社サービスとデータ連携できない 10 年も経つと課題が、、
7. 2つサービスの開発運用 2022 年 3 月〜 2022 年 4 月〜 フルスクラッチ AWS サーバレスで
8. サーバレスのおかげでなんとか 2022 年 3 月〜 2022 年 4 月〜 エンジニア5名 3年前に未経験の人たちで スタート
10. VPC LESS VPC LESS VPC LESS OS 　LESS OS 　LESS OS 　LESS
11. OIDC OIDC OIDC 全体アーキテクチャ(簡易) S3 MediaConvert S3 DynamoDB DynamoDB DynamoDB AppSync Lambda API-GW Step Functions API-GW Amplify Amplify 担当者向け CMS 倉庫 システム BFF Frontend Backend
12. ServerlessDays Tokyo 2022 Virtual 詳しくは昨年の ServerlessDays の資料で！
13. 動画配信サービス hod どうでしょうの新作配信
14. https://speakerdeck.com/_kensh/serverless-virtual-waiting-room さっきの下川さんのお話
15. 過去のどうでしょう新作は すべてサーバーダウン
16. 放送は落ちないのにねぇ
17. やってやろうじゃないの
18. 25,000ユーザ / 5,000 TPS を耐えられるように！！ 絶対落ちないように ※オンプレ時代の情報を元にざっくり算出
19. 課題
20. DynamoDB のホットパーテーション 多段 connection 問題 AppSync TokenConsumed 問題 近い構成で高負荷状態ではTokenが減少するの を確認済み
21. EpisodeGroup 1対多 1対多 AppSync と DynamoDB の関係 DynamoDB AppSync Program Connection ConnectionEpisode Episode 1対多 1対1 1対1 Recoil に格納 初期ロード時に 全てのデータを DynamoDB User ユーザ系のデータ（ログイン時） くらい 番組情報は 全部で10MB amplify-cli で、どんどん増やしちゃった 番組系のデータ
22. EpisodeGroup 1対多 1対多 AppSync と DynamoDB の関係 DynamoDB AppSync Program Connection ConnectionEpisode Episode 1対多 1対1 1対1 くらい 番組情報は 全部で10MB AppSync で 3000 resolver が解決 AppSync で 200 TokenConsumed DynamoDB で EpisodeTableに集中 1query で ＋
23. (別構成)AppSync と TokenConsumed 負荷をかけると1クエリあたりのToken消費が減る
24. 負荷かけたけど 100 Token/query までしか下がらない
25. 5000 TPS だと 5000 TPS ✖︎ 100 tokenだから quota は 50万必要...
26. AWS さん！ 50万 Token まで上げて！！！
27. まぁ、一旦落ち着こうか
28. AWSさんのご提案 ・cacheを使ってみよか ・バックエンド作り直そか
29. 残り２ヶ月で バックエンド作り直しは無理、、
30. cache しかない！！
31. キャッシュの 試行錯誤
32. キャッシュはVPC内サービス、、 ElastiCache はVPC使うので却下 DAX はVPC使うので却下 AppSync に cache がついてる FULL cache Per resolver cache これらも結局、ElastiCacheで時間課金 Cache 導入によるToken低減の期待 キャッシュにオフロードできたらToken減りそう 1,500KB秒以下のメモリとvCPU時間で1トークン
33. AppSync の Cache Full request caching Per-resolver caching AppSync
34. AppSync の Cache テストしてみた Full request caching Tokenが激増 6000/query Per-resolver caching ホットパーテーションは回避可能 Tokenは減らない。。 AppSync
35. これは、もう、、 デスマーチ宣言をするしか、、 ☠️
36. サーバーレスで キャッシュがあればなぁ
37. 💡
38. 4月の渋谷の夜 photo by @TAKA_0411
39. もめんと！
40. Momentoの 導入
41. キムさんにMomentoの相談(本番50日前くらい) AppSync Merged API 採用の検討 フロントエンドの修正を最小限に フロントエンドver と バックエンドver の提案 キャッシュ取得の構成案をMomentoチームと相談 構成図の解説
42. AppSync の Merged API
43. AppSync の 後ろに Momento Cache
44. AppSync の subscription 使いたい
45. 実際の構築 （2週間くらい）
46. 実際の構成
47. 更新を含めると
48. 超えてきた ハードル
49. Lambdaペイロードサイズ制限 バースト耐性 momento上限緩和等 実装で気をつけたこと
50. Lambdaペイロードサイズ制限 同期呼出で6MBを超えることができず AppSyncリゾルバーではストリーミング 応答もできない 番組データのサンプルは最大10MBを想定 更新を含めると
51. JSON 文字列 圧縮バイナリ Chunk 1 (1MB) Chunk 1 (1MB) Chunk 1 (1MB) 圧縮バイナリのチャンク単位で Momentoにキャッシュさせる → 3MB 10MB ・・・ Momento Cache
52. 負荷試験中、AWS Lambda でおきたスロットル
53. AWS Lambda のバースト耐性 Token Bucket Algorithm 同時実行数（Concurrency）とバースト制限 ※「AWS Lambda におけるバースト耐性」：https://aws.amazon.com/jp/builders-flash/202212/lambda-burst-resistance
54. リクエスト不可に応じたバースト制限の同時実行数とスロットリング → リトライと Provisioned Concurrency で対応 ※「AWS Lambda におけるバースト耐性」：https://aws.amazon.com/jp/builders-flash/202212/lambda-burst-resistance
55. Momentoキャッシュのサービス上限と緩和申請 ~ 5000 TPS ~ 5000 TPS × 1MB チャンクは 1MB までなので そのまま
56. Momentoチームに課題と構成案を説明・相談 ※日本語のサポートもあります！ MoCon参加で前フリをしていたので、今回は英語で。
57. 相談したバックエンドverの構成
58. 相談したフロントエンドverの構成
59. モニタリング 負荷試験
60. 負荷試験はDistributed Load Testing on AWSを使用 5,000 rps まで負荷の負荷試験を実施 20,000 Token/s まで上限緩和するために負荷試験を求めら れた AppSyncのdevとprodが同アカウントの同リージョン 段階的に上限緩和をしてもらう Momento 込みで負荷試験
61. Distributed Load Testing on AWS CloudFormation テンプレートを配布してる
62. CloudWatchメトリクスで確認 毎秒の値はCloudWatch Logs Insight で（高い） JMeterでレスポンスの情報をS3に保存 Colaboratory で集計してお金の節約 Momento のメトリクスもCloudWatchに連携 モニタリング
63. CloudWatch Dashboard dev と prod を 手動で作るの大変。。 CDKは途中で心折れた…
64. 5,000 TPS クリア！！
65. CloudWatch Dashboard 負荷をかけると 反応が良くなる Momento Cache 1700ms 700ms AVG 5min Momento Cache Get Latency
66. もともとは AppSync Rate of request tokens DynamoDB Hot Partition 2,000 /s (soft limit) AppSync DynamoDB 200 3,000 read /s 1,000 wright /s (hard limit) TokenConsumed
67. 上限緩和とMomento の導入 AppSync Rate of request tokens DynamoDB Hot Partition 2,000 /s (soft limit) Momento が 受けてくれる！ 20,000 /s ↓ AppSync Lambda Resolver Momento Cache Concurrent executions 20,000 + Provisioned Concurrency 1 TokenConsumed
68. REALLY APPRECIATE!!
69. 配信当日
70. 8/30 23:45:00
71. リクエスト数 AppSync
72. リクエスト数 3000 request/min AppSync
73. リクエスト数 3000 request/min あ、オンプレのデータって毎分だったのね、、 AppSync
74. リクエスト数 毎秒100くらい… AppSync
75. 無風 😆
76. はじめて陥落しなかったから ヨシ！
77. まとめ
78. ついにサーバレスキャッシュがやってきた！ フロントにキャッシュするしかなかった 全体でのキャッシュ戦略を考えたい NoSQL の設計をもう一度 @connection ディレクティブどうする？ Amplify GraphQL Transformer v2 ? AppSync Resolver 自分で書く？ 大規模な上限緩和の相談はお早めに AWSさんには本当に感謝です 負荷試験は時間かかります まとめ
79. ありがとうございました！ 三浦一樹 北海道テレビ放送株式会社 Sonu Kim 株式会社Serverless Operations 2023/09/23