Amazon S3 Selectで実現するサーバーレス高負荷対応サイト

Slide 1

Slide 1 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon S3 Selectで実現するサーバーレス⾼負荷対応サイト清家史郎 (@seike460) D - 3 ︓ 2 0 2 2 / 1 1 / 1 0 1 5 : 0 0 - 1 5 : 4 5 株式会社Fusic チームリーダー/プリンシパルエンジニア/エバンジェリスト

Slide 2

Slide 2 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Who am I? • 清家史郎（@seike460） • 株式会社Fusic（From 福岡） • チームリーダープリンシパルエンジニアエバンジェリスト • 技術コミュニティ好き • JAWS Days 2018-2020、2022 • AWS Dev Day 2021-2022

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. サイト要件今回のサイト要件には以下の要件存在した • 既存のスマホアプリのサブサイトとして構築する • ⼀定のタイミングでスパイクアクセスが発⽣する • サブサイトはスマホアプリと同じ情報元を利⽤する • 情報の検索を⾏う必要があり、情報の更新は⾏わない

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. スマホアプリ側の対策 Amazon Relational Database Service (Amazon RDS)への負荷がボトルネックになる • Amazon Auroraのリードレプリカを利⽤して Read/Writeを負荷分散しつつ、強⼒なインスタンスサイズを選択 • ⾮同期に出来る処理を⾮同期化して、アプリケーションへの同期的な負荷を低減 • 負荷試験を通してアプリケーションの最適化を⾏う • スパイクアクセス時に合わせて各所スケールアウトを⾏う

Slide 9

Slide 9 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. スマホアプリ運⽤スマホアプリは運⽤スキルの向上もあり安定稼働状態であった⼀⽅でかなりの運⽤負荷が発⽣している事実があったこのような状況から今回のサイト構築要件にて運⽤負荷をこれ以上増やしたくないという希望があったスマホアプリ運用グループサイト運用グループ

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. ２つの要件スパイクアクセスへの対応 • 予測可能なスパイクアクセス • 通常構成では耐えられない事も予測出来ている運⽤負荷の低減 • スマホアプリと同⼀の Amazon RDSから情報取得 • 今まで培った運⽤スキルをコピーして運⽤を⾏うような体制にしたくないサイト運用グループ

Slide 12

Slide 12 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾼負荷対策をしたいが運⽤負荷は増やしたくないこの時浮かんで来たのがServerless化というアイデアスマホアプリのバックエンドとなっているのはPHPで、対応メンバーもメイン⾔語はPHPだったそこで⾏ったのがPHPのサーバーレスアプリ化 AWS Lambda x PHPを利⽤したアーキテクチャ構築

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ概要 ■サブサイトアカウント • Amazon S3 Select Lambda • CloudFront + S3 • AWS IAM PassRole ■スマホアプリアカウント • Amazon EventBridge • AWS Fargate Batch • AWS IAM AssumeRole

Slide 16

Slide 16 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. データ⽣成アーキテクチャ • スマホアプリアカウント • Fargateでサブサイトに必要なデータを定期的に更新する前述の通りリードレプリカを利⽤ • 既存のTerraformに IAMAssumeRoleを追加サブサイトアカウントのS3へ Jsonデータ挿⼊を⾏う

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Bref PHPのCustom Runtime環境を簡単に構築出来るツール • Serverless Frameworkを利⽤ • AWS Serverless Application Model(SAM)でも利⽤可能 • 公開 Docker Imageも DockerHubで存在するので開発⽤のDockerComposeも容易に準備可能

Slide 21

Slide 21 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Laravel • PHPのデファクトスタンダード Webフレームワークと⾔っても過⾔ではないフレームワーク • AWSとの相性も抜群で S3への接続やSESへの接続、 SQSへの接続等カジュアルに AWSを利⽤することが出来る • Bref公式サイトにてLaravelの導⼊⽅法も⽰されている為、スムーズに導⼊可能

Slide 22

Slide 22 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Laravel bref を組み合わせる # Laravelを通常どうりインストール $ composer create-project laravel/laravel testProject # brefパッケージをインストール $ composer require bref/bref bref/laravel-bridge -- update-with-dependencies # serverless.ymlの⽣成 $ php artisan vendor:publish --tag=serverless-config PHP8.1を使いたい場合はphp-80 -> php-81へ変更 ※既に8.2を実験的に提供されています

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 取得データの考え⽅ • RDBMSからデータを取得する要領で S3 Selectからデータを取得する • Webフレームワークの概念 • データベース→バケット • テーブル→Jsonファイル • レコード→Jsonオブジェクト • リレーション • レコード取得後にPHP側でリレーション構築可能と考察 • 実際はJson作成時にRDBMSへのSQLにて Joinした値をJsonファイルに設定した

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. カジュアルにState管理が出来る Svelteを整備してくれたチームメイトがいた事が⼤きいがとても良い選択をしてくれた • 少ない記述量でのState管理 • 値の共有を⾏うStore機能フロントエンドが得意領域ではない⾃分にはすごくシンプルに⼊り込めた

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Serverless Framework • Serverless Framework • 簡単にLambdaをデプロイする事が可能な構成管理デプロイツール • Yamlを記述することで簡単に API Gateway付きのLambdaが構築出来る • Yaml内にAWS CloudFormationの記法も出来る為、CloudFrontもここで構成管理が可能

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. GitHubのbrunch マージを契機にデプロイ • backend • Serverless framework deploy • frontend • aws s3 sync • aws cloudfront create-invalidation • frontendとbackend分けてDeploy • CIも同様に切り分け

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Lambdaの制限 1 Lambdaの最⼤ペイロードサイズは6MB 変更不可能な制限こちらを回避するために、ペイロード制限を⾏う必要があった UIから必要とされるFieldを精査 S3Slectにて取得するカラムの制限を⾏うことでペイロードを減らしたこれでも駄⽬ならペイロード圧縮も試すつもりだったが今回はそこまで必要なかった

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷試験 • 実際の負荷に耐えれるのかを検証するために負荷試験を実施 • CloudFront等のフロントエンドがボトルネックになることは考え⾟い • バックエンドのLambda + S3 Select に対してApache Benchによる負荷試験を実施

Slide 42

Slide 42 text

Slide 43

Slide 43 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷試験結果 (500クライアント、2000リクエスト) 0 100 200 300 400 500 600 700 800 900 RPS 500Client – 2000Request GET500 GETキャッシュ500 POST500 ※POSTは検索により 1/10のデータ量

Slide 44

Slide 44 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷試験結果 (100クライアント、200000リクエスト) 0 200 400 600 800 1000 1200 RPS 100Client – 200000Request GET100 GET100キャッシュ POST100 Clod Startが慣らされる事で更にスループットの上昇 API Gateway のキャッシュはスループットが上がらない結果となってしまった

Slide 45

Slide 45 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷試験結果 (1000クライアント、200000リクエスト) 0 200 400 600 800 1000 1200 RPS 1000Client – 200000Request GET1000 POST1000 S3 Selectの限界は来るので必ず検証が必要

Slide 46

Slide 46 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. API Gateway キャッシュについての判断 AWS S3 Select Lambdaのパフォーマンスがかなり良好だったキャッシュにおける「時間あたりの料⾦」は本構成において費⽤インパクトあったデフォルトではGETのみ対応であり設定変更などの管理項⽬が増えるキャッシュの適切な利⽤が出来ていない総合的な判断で⾏わない事にした

Slide 47

Slide 47 text

Slide 48

Slide 48 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 現在の運⽤状況 Custom Runtime運⽤に対する不安や、リクエストに耐えれるか不安はあったが、特に問題が起きていない運⽤の負荷もほぼないに等しく、CloudWatchも安定している今回の２つの要件を同時に解決出来たと考えます理論を元に検証を⾏い、対策が打てた事が⼤きいと感じている

Slide 49

Slide 49 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 運⽤コスト API GatewayやLambdaの使⽤量を⾒る限り、リクエストが少ないわけではない Fargate + RDSでの対応なら、⼤きめのリソースをあてたくなります前述の運⽤する上での⼈⼒コストの低減に合わせて AWS 利⽤料も合わせて考えるとかなりコストインパクトが⼤きい

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 今後の導⼊やスキル継承について別プロジェクトでも導⼊を進めている Laravel + AWSの相性の良さもあり、実装が簡略化出来る現在別のプロジェクトにてSESへの対応など含めて私の代わりに若⼿のPHPerがコーディング中でありスキル継承も滞りなく⾏えると感じています

Slide 53

Slide 53 text

Slide 54

Slide 54 text