フル・サーバーレスでサービスを作る話 / Make the full-stack-serverless service

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 自己紹介 ◼ 所属 • Acroquest Technology Co., Ltd. ◼ 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ ◼ バックグラウンド • エンタープライズ／ミッションクリティカル • SEPG／開発／マネジメント • Java／Python 鈴木貴典シニアテクニカルアーキテクト Acro = 先端を quest = 探究する働きがいのある会社ランキング 1位

Slide 4

Slide 4 text

Slide 5

Slide 5 text

ファイル転送／交換に求められる要件 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 ①大きなサイズのファイル送付をしたい ②ファイルの送信だけでなく、相手からの受取もしたい ③ファイルは暗号化する ④フリーのサービスの利用はNG ⑤ファイルがクラウド上に残り続けるのはNG • 利用頻度は少ない（1日数回） • 運用コストはおさえたいしかしながら…

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

ファイル転送サービスのアーキテクチャ概要 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 API Gateway Lambda DynamoDB S3 SES 社員ユーザーメール送付 Cognito Active Directory SAML フェデレーション認証は SSO API Gateway Lambda ゲストユーザーファイル一時保存

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

①認証（シングルサインオン構成） Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 ⚫ Cognitoで、SAMLフェデレーションを適用 • 今回のサービスではAzure AD と連携 • Auth０などでも連携可能 ⚫ このおかげで、SSO構成が実現できるためユーザー登録／管理等の機能開発は不要になった ⚫ エンタープライズ向けには有用 ⚫ API Gateway の Authorizer も対応可能画面 Cognito AzureAD ②認証 ①アクセス ③リダイレクト OAuth2 SAML

Slide 12

Slide 12 text

②データ蓄積／アクセス Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 ⚫ キャパシティ戦略をどうするか？ • アクセスがおおよそ一定 → プロビジョンド ‒ Auto Scaling を適用するかどうか？ • アクセスが不規則で少ない → オンデマンド ‒ デフォルトでは最大4,000WCU or 12,000RCUになる ‒ 逆にアクセスが増えたらコストも増えるので注意 ⚫ 更新系テーブルと参照系テーブルを分けることも検討 • CQRS（コマンドクエリ責任分離）の構成を取るかどうか ⚫ ポイントインタイムリカバリ（PITR）は特に問題がなければデフォルトONで！ • 自動でバックアップされ、過去35日間の任意の時点にデータを復元できる • 障害や操作ミスなどでデータを削除してしまった場合などに有効 DynamoDB Stream Commands （更新） Query （参照） Write Read

Slide 13

Slide 13 text

③大きいサイズのファイルアップロード Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 ①Pre-Signed URLの取得 ②ファイルアップロード API Gateway Lambda S3 ⚫ API Gatewayで送信できるコンテンツのサイズは 10MBの制限あり（上限緩和なし） ⚫ S3の ”Pre-Signed URL”（署名付きURL）の機能を利用して、画面側からS3へファイルをアップロードする ⚫ ファイルアップロードが完了したら S3トリガーで処理を組み込むこともできる ⚫ ダウンロードの場合も、ほぼ同様にして実現可能 ※今回は転送対象のファイルであるがサイズの大きい画像ファイルなどを扱うような場合も同様の方法で実現できる Lambda トリガー

Slide 14

Slide 14 text

Slide 15

Slide 15 text

⑤バッチ集計 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 ⚫ Dailyで、利用状況の集計を行っている ⚫ Step Functions で大抵のことは満たせる状況になっている • LambdaやBatchなどとも連携できる ⚫ 動的並列処理ができるようになったのが便利！ • 過去も並列処理はあったが、機能が並列であり、同じ処理を複数処理する内容ではなかった • Mapステートを利用することで、現在は解決 • 不特定多数／データ数が増加していくような場合でもこれで解決 • ひと昔前のMap-Reduce的な処理は実現（データ件数次第ではあるが）・・・ CloudWatch Event Step Functions Batch Lambda

Slide 16

Slide 16 text

⑥モニタリング Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 ⚫ ひとまずX-Rayは適用しておくと良い • 性能ボトルネックを早めに特定 • 本番運用で障害が発生した際の手がかりになる • ただし、全リクエストをモニタリングしているわけではない点に注意 ⚫ 今やLambdaだけでなくStep Functionsにも対応

Slide 17

Slide 17 text

Slide 18

Slide 18 text

その後の運用を通して

Slide 19

Slide 19 text

その後の運用を通して Copyright © Acroquest Technology Co., Ltd. All rights reserved. 19 ①障害はゼロ • 1年半ぐらい運用継続中。 • 問い合わせはあったけど「ファイル自体添付されていない」など。 • エラーのモニタリングもしているが、エラー自体発生しない。 ②メンテナンス自体もほぼ無い • 認証をSAML連携したおかげで、ユーザーの追加／削除の対応なども発生しない。 ③コストは？ • 想定以上でした（!?）