Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Cognito+API Gateway+Lambda+S3ではじめるサーバーレスアプリ構築 / Building Serverless Apps with Cognito+API Gateway+Lambda+S3
Search
Hironori Yokoyama
March 20, 2021
Technology
0
1.9k
Cognito+API Gateway+Lambda+S3ではじめるサーバーレスアプリ構築 / Building Serverless Apps with Cognito+API Gateway+Lambda+S3
JAWS DAYS 2021のオンライン登壇で使用した発表資料です。
https://jawsdays2021.jaws-ug.jp/timetable/track-b-1600/
Hironori Yokoyama
March 20, 2021
Tweet
Share
More Decks by Hironori Yokoyama
See All by Hironori Yokoyama
立ち上げ期のSaaSを支えるAWSの技術 / AWS technology supporting SaaS in its start-up phase
yokoyan
0
220
【DevRel Meetup in Tokyo #51】社内コミュニティを1年間続けて学んだこと~1人からはじめるDevRel~ / DevRel starting with one person
yokoyan
0
640
ゼロからはじめる Infrastructure as Code ~SIer企業がAWSで⾃社Webサービスを⽴ち上げて2年間運⽤してきた話~ / Infrastructure as code starting from scratch
yokoyan
0
7.6k
SIer企業が Ruby で成長する自社 Web サービスをリリースするまでの失敗と成功の道のり
yokoyan
3
1.4k
Other Decks in Technology
See All in Technology
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
Classmethod流のPlatform Engineering / classmethod-platform-engineering-devio2024
tomoki10
0
470
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
AI研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
130
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
1
700
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
270
サービスの持続的な成長と技術負債について
siva_official
PRO
10
4.4k
データベース研修 DB基礎【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
210
テストケースの自動生成に生成AIの導入を試みた話と生成AIによる今後の期待
shift_evolve
0
180
AWSサービスメニュー開発をしていてAWSを好きだ!と感じた瞬間
toru_kubota
0
130
エンジニア向け会社紹介資料
caddi_eng
14
220k
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
63
11k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
35
6.3k
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
Atom: Resistance is Futile
akmur
261
25k
Making the Leap to Tech Lead
cromwellryan
127
8.7k
Making Projects Easy
brettharned
111
5.7k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
17
1.5k
Web development in the modern age
philhawksworth
203
10k
Facilitating Awesome Meetings
lara
46
5.8k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
12
3.8k
Code Review Best Practice
trishagee
58
16k
Transcript
0 Copyright© System Integrator Corp. All rights reserved. System Integrator
Cognito+API Gateway+Lambda+S3で はじめるサーバーレスアプリ構築 ~SIer企業がはじめて挑戦してみた話~
1 Copyright© System Integrator Corp. All rights reserved. System Integrator
横山 弘典 (@yokoyantech) • 株式会社システムインテグレータ • 製品企画室 • 宮崎→福岡→埼玉 • AWS歴 • 約7年 • アソシエイト3冠 • SAプロフェッショナル • JAWS歴 • 2014年から毎年参加 • 2020年初登壇(動画)
2 Copyright© System Integrator Corp. All rights reserved. System Integrator
毎年ボッチ参加なので 今年こそはJAWS仲間を作りたい!
3 Copyright© System Integrator Corp. All rights reserved. System Integrator
1. 本日お伝えすること 2. サーバーレスアーキテクチャを採用した理由 3. サーバーレスでREST APIを作る 4. サーバーレスでWEBアプリを作る 5. 非同期処理を作る 6. デプロイ/負荷試験 Agenda
4 Copyright© System Integrator Corp. All rights reserved. System Integrator
新サービス開発で、はじめて サーバーレスを使った体験談をお伝えします
5 Copyright© System Integrator Corp. All rights reserved. System Integrator
株式会社システムインテグレータ • 埼玉県さいたま市にある会社 • 東証1部 • 創業27年目 • 事業内容 • 自社パッケージソフト(EC、ERPなど) • 企画、開発 • カスタマイズ • 自社WEBサービス • 開発、運営 • 技術スタック • AWS、Azure • Java、C#、Python、Rubyなど
6 Copyright© System Integrator Corp. All rights reserved. System Integrator
7 Copyright© System Integrator Corp. All rights reserved. System Integrator
8 Copyright© System Integrator Corp. All rights reserved. System Integrator
1. 本日お伝えすること 2. サーバーレスアーキテクチャを採用した理由 3. サーバーレスでREST APIを作る 4. サーバーレスでWEBアプリを作る 5. 非同期処理を作る 6. デプロイ/負荷試験 Agenda
9 Copyright© System Integrator Corp. All rights reserved. System Integrator
限られた人数で やることはいっぱい アプリ開発 インフラ開発 各種サポート
10 Copyright© System Integrator Corp. All rights reserved. System Integrator
家族や子供との時間も 大切にしたい
11 Copyright© System Integrator Corp. All rights reserved. System Integrator
精神論で頑張らない AWSで仕組みを変える
12 Copyright© System Integrator Corp. All rights reserved. System Integrator
サーバーレスを使うと 好きなことをやる時間が増える!
13 Copyright© System Integrator Corp. All rights reserved. System Integrator
受験者が コードを提出 外部APIで採点 (テストケース実行) 成否を判定 私達のプロダクト特徴
14 Copyright© System Integrator Corp. All rights reserved. System Integrator
VPC AWS Cloud 受験者 Amazon EC2 Public subnet Elastic Load Balancing NAT gateway Amazon RDS 他社外部API (提出/採点) ※EC2+α Private subnet
15 Copyright© System Integrator Corp. All rights reserved. System Integrator
16 Copyright© System Integrator Corp. All rights reserved. System Integrator
17 Copyright© System Integrator Corp. All rights reserved. System Integrator
大規模イベントでは、採点システムが 数百台必要になるケースもあった
18 Copyright© System Integrator Corp. All rights reserved. System Integrator
新サービス(SQL)では、 自社で採点システムを保持・運用
19 Copyright© System Integrator Corp. All rights reserved. System Integrator
EC2などのよくある悩み コスト高い (待機時間含) 運用が自力 (HDD容量等) 自動スケール 設定が必要
20 Copyright© System Integrator Corp. All rights reserved. System Integrator
コスト安い (実行時間) 運用が楽 自動スケール 設定が不要 サーバーレスで解決
21 Copyright© System Integrator Corp. All rights reserved. System Integrator
スパイク対策、コスト減、運用を楽にするために サーバーレスを採用
22 Copyright© System Integrator Corp. All rights reserved. System Integrator
1. 本日お伝えすること 2. サーバーレスアーキテクチャを採用した理由 3. サーバーレスでREST APIを作る 4. サーバーレスでWEBアプリを作る 5. 非同期処理を作る 6. デプロイ/負荷試験 Agenda
23 Copyright© System Integrator Corp. All rights reserved. System Integrator
API Gateway Lambda NoSQL サーバーレスでREST API
24 Copyright© System Integrator Corp. All rights reserved. System Integrator
提出API 提出コード 書き込み 提出結果 保持 サーバーレスでREST API
25 Copyright© System Integrator Corp. All rights reserved. System Integrator
MongoDB Atlas • MongoDBとは • jsonを格納するドキュメント型のNoSQL • Atlasとは • MongoDB公式が提供するDaaS • フルマネージドサービス • AWS連携が簡単 • VPCピアリングできる! • セキュリティグループによる制御できる! • 東京リージョンあり
26 Copyright© System Integrator Corp. All rights reserved. System Integrator
VPC EC2からPRIVATEなAPIを呼び出したい(受験者→提出API) AWS Cloud users Amazon API Gateway (PRIVATE) AWS Lambda Peering connection VPC Amazon EC2 Public subnet Elastic Load Balancing NAT gateway Private subnet
27 Copyright© System Integrator Corp. All rights reserved. System Integrator
VPC EC2からPRIVATEなAPIを呼び出したい(受験者→提出API) AWS Cloud users Amazon API Gateway (PRIVATE) AWS Lambda Peering connection VPC Amazon EC2 Public subnet Elastic Load Balancing NAT gateway Private subnet Private Subnet内のLambdaを API Gatewayがどうやって呼び出すの?
28 Copyright© System Integrator Corp. All rights reserved. System Integrator
【原因】LambdaをVPC内に配置した際に 想像した図が間違っていた
29 Copyright© System Integrator Corp. All rights reserved. System Integrator
AWS Cloud AWS管理VPC 私達のVPC AWS Lambda Elastic network interface LambdaをVPC内に配置すると、 私達のVPCの中に、ENIができる Private subnet
30 Copyright© System Integrator Corp. All rights reserved. System Integrator
AWS Cloud AWS管理VPC 私達のVPC AWS Lambda Elastic network interface Private subnet Lambdaの実体は、 AWS管理VPC側に存在する
31 Copyright© System Integrator Corp. All rights reserved. System Integrator
AWS Cloud AWS管理VPC 私達のVPC AWS Lambda Elastic network interface Private subnet Lambdaの実体は、 AWS管理VPC側に存在する
32 Copyright© System Integrator Corp. All rights reserved. System Integrator
AWS Cloud AWS管理VPC 私達のVPC AWS Lambda Elastic network interface Lambdaは、 ENI経由で 私達のVPC内のリソースにアクセスできる Amazon RDS Private subnet
33 Copyright© System Integrator Corp. All rights reserved. System Integrator
Private subnet API GatewayからLambdaを呼ぶときは、 AWS内部のネットワークを通る AWS Cloud AWS管理VPC 私達のVPC Amazon API Gateway (PRIVATE) AWS Lambda Elastic network interface
34 Copyright© System Integrator Corp. All rights reserved. System Integrator
【対策】VPC Endpoint とENIを使う
35 Copyright© System Integrator Corp. All rights reserved. System Integrator
VPC 【修正後】EC2からPRIVATEなAPIを呼び出したい AWS Cloud users Amazon API Gateway (PRIVATE) AWS Lambda Peering connection VPC Amazon EC2 Public subnet Elastic Load Balancing NAT gateway Elastic network interface Endpoints Private subnet
36 Copyright© System Integrator Corp. All rights reserved. System Integrator
1. 本日お伝えすること 2. サーバーレスアーキテクチャを採用した理由 3. サーバーレスでREST APIを作る 4. サーバーレスでWEBアプリを作る 5. 非同期処理を作る 6. デプロイ/負荷試験 Agenda
37 Copyright© System Integrator Corp. All rights reserved. System Integrator
S3 Cognito API Gateway サーバーレスでWEBアプリ
38 Copyright© System Integrator Corp. All rights reserved. System Integrator
HTML/JS 配置 ログイン時 認証 問題登録 API など サーバーレスでWEBアプリ
39 Copyright© System Integrator Corp. All rights reserved. System Integrator
VPC S3で静的ホスティング+API呼び出し AWS Cloud users Amazon API Gateway (Edge) Amazon S3 Amazon Cognito AWS Lambda Peering connection VPC Elastic network interface Private subnet
40 Copyright© System Integrator Corp. All rights reserved. System Integrator
クリップボード貼り付け処理
41 Copyright© System Integrator Corp. All rights reserved. System Integrator
httpで動いていた
42 Copyright© System Integrator Corp. All rights reserved. System Integrator
【原因】S3は、Web Site Endpointの HTTPSアクセスをサポートしていない
43 Copyright© System Integrator Corp. All rights reserved. System Integrator
【対策1】CloudFrontを使ってHTTPSを実現
44 Copyright© System Integrator Corp. All rights reserved. System Integrator
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/WebsiteHosting.html
45 Copyright© System Integrator Corp. All rights reserved. System Integrator
【対策2】S3 REST APIエンドポイントを使う
46 Copyright© System Integrator Corp. All rights reserved. System Integrator
http://バケット名.s3-website-ap-northeast- 1.amazonaws.com/index.html ウェブサイト エンドポイント
47 Copyright© System Integrator Corp. All rights reserved. System Integrator
https://バケット名.s3-ap-northeast- 1.amazonaws.com/index.html REST API エンドポイント
48 Copyright© System Integrator Corp. All rights reserved. System Integrator
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/WebsiteEndpoints.html#WebsiteRestEndpointDiff
49 Copyright© System Integrator Corp. All rights reserved. System Integrator
1. 本日お伝えすること 2. サーバーレスアーキテクチャを採用した理由 3. サーバーレスでREST APIを作る 4. サーバーレスでWEBアプリを作る 5. 非同期処理を作る 6. デプロイ/負荷試験 Agenda
50 Copyright© System Integrator Corp. All rights reserved. System Integrator
Lambda SQS Lambda サーバーレスで非同期処理
51 Copyright© System Integrator Corp. All rights reserved. System Integrator
採点キュー 書き込み キュー管理 採点処理 サーバーレスで非同期処理
52 Copyright© System Integrator Corp. All rights reserved. System Integrator
VPC 提出処理と採点処理の間にSQSを入れて非同期化 AWS Cloud users Amazon API Gateway (PRIVATE) AWS Lambda(提出) Peering connection VPC Amazon EC2 Elastic network interface Endpoints Amazon SQS AWS Lambda(採点) Public subnet Elastic Load Balancing Private subnet
53 Copyright© System Integrator Corp. All rights reserved. System Integrator
【問題1】Lambdaがデプロイできない
54 Copyright© System Integrator Corp. All rights reserved. System Integrator
【原因】SQSの可視性タイムアウト(30秒)が Lambdaのタイムアウト(300秒)より短い
55 Copyright© System Integrator Corp. All rights reserved. System Integrator
【対策】SQSの可視性タイムアウトを Lambdaのタイムアウトより長くする
56 Copyright© System Integrator Corp. All rights reserved. System Integrator
【問題2】採点Lambdaに1度に複数の 採点キューが渡されてしまう
57 Copyright© System Integrator Corp. All rights reserved. System Integrator
VPC 提出処理と採点処理の間にSQSを入れて非同期化 AWS Cloud users Amazon API Gateway (PRIVATE) AWS Lambda(提出) Peering connection VPC Amazon EC2 Elastic network interface Endpoints Amazon SQS AWS Lambda(採点) Public subnet Elastic Load Balancing Private subnet
58 Copyright© System Integrator Corp. All rights reserved. System Integrator
【原因】SQSトリガーの バッチサイズが1より大きい
59 Copyright© System Integrator Corp. All rights reserved. System Integrator
【対策】SQSトリガーの バッチサイズを1にする
60 Copyright© System Integrator Corp. All rights reserved. System Integrator
マネジメントコンソールからは変更ができない
61 Copyright© System Integrator Corp. All rights reserved. System Integrator
1. 本日お伝えすること 2. サーバーレスアーキテクチャを採用した理由 3. サーバーレスでREST APIを作る 4. サーバーレスでWEBアプリを作る 5. 非同期処理を作る 6. デプロイ/負荷試験 Agenda
62 Copyright© System Integrator Corp. All rights reserved. System Integrator
CodePipeline CodeBuild+ Serverless CodeDeploy サーバーレスのデプロイ
63 Copyright© System Integrator Corp. All rights reserved. System Integrator
64 Copyright© System Integrator Corp. All rights reserved. System Integrator
Serverless-framework • node.js製のツール • サーバーレスアプリをAWS上に簡単にデプロイできる (内部的にはCloudFormationが動いている) • 構成をYAMLで書ける • 例)GETリクエストでLambda関数helloを実行する API Gatewayを作成する • CodeBuild等と組み合わせると簡単にPipelineができる # serverless.yml functions: index: handler: handler.hello events: - http: GET hello $ serverless deploy
65 Copyright© System Integrator Corp. All rights reserved. System Integrator
サーバーレスの負荷試験 https://github.com/Nordstrom/serverless-artillery
66 Copyright© System Integrator Corp. All rights reserved. System Integrator
Serverless-artillery • サーバーレスで負荷試験ができる • AWS上に負荷を生成するLambdaを簡単に生成できる • 試験シナリオがYAMLで書ける • 例)秒間10アクセスの負荷を5秒実行する • 負荷試験実行も簡単 config: target: http://TESTURL/ phases: - duration: 5 arrivalRate: 10 scenarios: - flow: - get: url: "/" slsart deploy --region=ap-northeast-1 slsart invoke --region=ap-northeast-1
67 Copyright© System Integrator Corp. All rights reserved. System Integrator
限られた人数で やることはいっぱい アプリ開発 インフラ開発 各種サポート
68 Copyright© System Integrator Corp. All rights reserved. System Integrator
精神論で頑張らない AWSで仕組みを変える (わからなくても まずは挑戦!)
69 Copyright© System Integrator Corp. All rights reserved. System Integrator
サーバーレスを活用して みなさん素敵な人生を!
70 Copyright© System Integrator Corp. All rights reserved. System Integrator
※本資料掲載の情報・画像など、すべてのコンテンツの無断複写・転載を禁じます。