サーバーレスを “安全・安心” に使う / Serverless Security Pattern

Slide 1

Slide 1 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. サーバーレスを “安全・安心” に使う (パターン集) J A W S - U G 札幌第 2 9 回勉強会 Kensuke Shimokawa Snr. Serverless Specialist Amazon Web Services Japan https://speakerdeck.com/_kensh https://qiita.com/_kensh

Slide 2

Slide 2 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. About Me… Kensuke Shimokawa Amazon Web Services Japan Snr. Serverless Specialist https://speakerdeck.com/_kensh https://qiita.com/_kensh

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. Isolation / 独立環境 11 function instance f(x)=>{ } f(x) deployment g(x) request to f(x) handling warm start request to f(x) function instance f(x)=>{ } handling cold start request to g(x) function instance g(x)=>{ } handling cold start

Slide 11

Slide 11 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. Isolation / 独立環境 12 function instance f(x)=>{ } f(x) deployment g(x) request to f(x) handling warm start request to f(x) function instance f(x)=>{ } handling cold start request to g(x) function instance g(x)=>{ } handling cold start リクエスト単位で Lambdaのinstanceは使いまわされるので、たとえば単一のLambda関数を複数のユースケースで再利用していた場合、その再利用による memoryからの意図しない漏洩はユーザ側での考慮が必要

Slide 12

Slide 12 text

Slide 13

Slide 13 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. Amazon Inspector 14 • 特徴 § ワンクリックで有効化 § リソースの⾃動検出と継続的スキャン § ダッシュボードによる容易な脆弱性管理 § 独⾃含むスコア算出による優先順位付け § Organizationとの連携で⼤規模な管理 § Security Hub, EventBridgeとの連携で検知から対応までサポート § Amazon EC2, Amazon ECR, AWS Lambda に対応 Amazon EC2 Amazon ECR Amazon Inspector AWS Lambda ソフトウェアの脆弱性や意図しないネットワーク露出領域を継続的なスキャンで検知する脆弱性管理サービス

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. AWS Lambda Power Tuning によるチューニング 19 AWS Lambda Power Tuning は、 AWS Step Functions を利⽤したステートマシンであり、 Lambda 関数のコストやパフォーマンスを最適化 INPUT OUTPUT 128 MB 256 MB 512 MB 1024 MB https://github.com/alexcasalboni/aws-lambda-power-tuning { "lambdaARN": "arn:aws:lambda: snip", "powerValues": [128,256, 512, 1024,1536,2048, 3008], "num": 1000, "payload": { }, "parallelInvocation": true, "strategy": "speed | cost" } User functions

Slide 19

Slide 19 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. CPU Intensive な処理系 20 def lambda_handler(event, context): heavy_CPU_job() return { 'statusCode': 200, 'body': json.dumps(‘CPU worked’), } コスト = GB秒 x リクエスト件数 time cost MB

Slide 20

Slide 20 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. 外部 APIコールに依存する処理系 def lambda_handler(event, context): external_API_call() return { 'statusCode': 200, 'body': json.dumps(‘API worked’), } コスト = GB秒 x リクエスト件数 time cost MB 21

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. Lambdaのトラフィックシフト機能 24 AWS SAM を使用してLambda関数を更新する場合、CodeDeploy が組み込まれているため、 Lambda関数を線形にデプロイ可能 https://docs.aws.amazon.com/ja_jp/serverless-application-model/latest/developerguide/automating-updates-to-serverless-apps.html HelloFunction: Type: AWS::Serverless::Function Properties: Runtime: python3.9 Handler: index.handler AutoPublishAlias: !Ref Stage DeploymentPreference: Enabled: true Type: Linear10PercentEvery1Minute

Slide 24

Slide 24 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. API Gatewayのカナリアリリース 25 リクエスト新機能 Amazon API Gateway ステージに対して「Canary」を定義すると、APIの「デプロイ」操作でそのステージを指定した際に一旦Canary に対してのみデプロイされるようになる(メインの内容は変わらない) Canaryに対して以下の操作が可能： • 昇格 • Canaryのデプロイ内容をメインのステージに反映 • 削除 • Canaryを削除して、メインステージのみの構成に戻す

Slide 25

Slide 25 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. API Gatewayのカナリアリリース 26 AWS SAM を使用してAPI Gateway REST APIを更新デプロイする場合は、カナリアの設定を組込めるため、ステージに安全にデプロイ可能 HelloWorldApi: Type: AWS::Serverless::Api Properties: StageName: !Ref StageName CanarySetting: PercentTraffic: 10 UseStageCache: false https://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/canary-release.html

Slide 26

Slide 26 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. AWS AppConfig によるロジックと設定の分離 27 デプロイ戦略 • ベータ環境や本番環境などの論理的なデプロイグループを管理可能 • 論理環境ごとに Amazon CloudWatch アラームを設定し AppConfig によってモニタリングすることが可能で、デプロイ中にアラームが発生するとロールバックをトリガー (設定値のValidationも可能) • アプリケーションからは AppConfig の GetConfiguration APIでパラメータを取得できるため、関数インスタンスごとにユニークなClientIDを振っておけば自動的に戦略に沿ったカナリアが実現 • 設定用と関数本体用にCICDパイプラインを分離し2 つ用意する • ここでの設定とはLambda サービスの設定ではなく、アプリケーション内のロジックにおける設定のこと（例. フィーチャーフラグ on/off） AWS AppConfig https://aws.amazon.com/jp/blogs/news/safe-deployment-of-application-configuration-settings-with-aws-appconfig/ AWS Lambda 新設定初期化時に取得し TTL付きキャッシュしておく Pull Pull 初期化時に取得し TTL付きキャッシュしておく Parameter Storeなど Parameter Storeなど

Slide 27

Slide 27 text

Slide 28

Slide 28 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. embedded metric format / 埋め込みメトリクスフォーマット 29 { "_aws": { "CloudWatchMetrics": [ { "Dimensions": [ [ "functionVersion" ] ], ... } ] }, "functionVersion": "$LATEST" } https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/Clo udWatch_Embedded_Metric_Format_Specification.html CloudWatch 埋め込みメトリクスフォーマットは、 • 構造化ログイベントに埋め込まれたメトリクス値を自動的に抽出するように CloudWatch Logs に指示するために使用される JSON 仕様

Slide 29

Slide 29 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. embedded metric format 30 Amazon API Gateway Mobile client Amazon CloudWatch Logs AWS Secrets Manager Amazon Aurora AWS Lambda Amazon CloudWatch Metrics ⾃動的⾮同期 embedded metric format 標準出⼒ CloudWatch 埋め込みメトリクスフォーマットは、 • 構造化ログイベントに埋め込まれたメトリクス値を自動的に抽出するように CloudWatch Logs に指示するために使用される JSON 仕様

Slide 30

Slide 30 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. embedded metric format 31 from aws_embedded_metrics import metric_scope @metric_scope def lambda_handler(event, context, metrics): results = conn.runQuery(sql) metrics.set_namespace("Summit2022") metrics.put_dimensions({"dim": "sales"}) metrics.put_metric("Conversion", results.Count, "Count") { "LogGroup": "embedded-log", (snip) "_aws": { "Timestamp": 1645369641214, "CloudWatchMetrics": [ { "Dimensions": [["LogGroup", ”ServiceName", "ServiceType", "dim" ]], "Metrics": [{ "Name": "Conversion", "Unit": "Count” }], "Namespace": "Summit2022" } ] }, "Conversion": 100 } Amazon CloudWatch Logs CloudWatch Logs に標準出⼒

Slide 31

Slide 31 text

Slide 32

Slide 32 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. embedded metric format 33 { … "lambda_function_name":.., "lambda_function_memory_size": 128, "lambda_function_arn": ”…", "lambda_request_id": "52fd..", "message": ”Aha", "cold_start": true } Result デコレータで関数Context情報も出力可能

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. Lambda Concurrency Hunt でスパイクを発見 41 過去7日間のMetricsに対して同時実行数が最も高い期間を見つけ、そのSpikeの前の 6分間の情報を出力する。 • 関数の呼び出し回数 • 平均処理時間 • 同時実行数 $ curl https://raw.githubusercontent.com/aws-samples/aws-lambda-concurrency-hunt/master/lambda-con-hunt.py -o lambda-con-hunt.py $ python3 lambda-con-hunt.py ※ Lambdaの1 分間隔Metricsにおいて、15 日間は 1 分の分解能を持つ。以降も使用可能だが、5 分に集約された分解能となる https://aws.amazon.com/jp/cloudwatch/faqs/ Concurrency Hunt

Slide 41

Slide 41 text

Slide 42

Slide 42 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. リソースポリシー 43 API Gateway AWS Lambda AWS Cloud { "Version": "2012-10-17", "Id": "default", "Statement": [{ "Sid": ”123456c7-a198-4b2d-b5fc-57fb5fefa0e8", "Effect": "Allow", "Principal": {"Service": "apigateway.amazonaws.com"}, "Action": "lambda:InvokeFunction", "Resource": ”LambdaFunctionARN", "Condition": { "ArnLike": { "AWS:SourceArn": ”sourceServiceARN" } } }] } { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": "*", "Action": "execute-api:Invoke", "Resource": "execute-api:/*/*/*" },{ "Effect": "Deny", "Principal": "*", "Action": "execute-api:Invoke", "Resource": "execute-api:/*/*/*", "Condition": { "NotIpAddress": {"aws:SourceIp": ["sourceIpOrCIDRBlock”]} } }] }

Slide 43

Slide 43 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. VPC Lambdaについて • VPCリソースへのアクセスに、Lambda関数をVPC接続設定する必要がある • VPC Lambdaはデフォルトでインターネットアクセスがない • インターネットアクセスするためには • Public Subnet に NAT Gateway を設置 • Internet Gateway を VPC に設置 • Route Table でインターネットへの経路を追加 44

Slide 44

Slide 44 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. VPC Lambdaについて • VPC Lambdaはデフォルトでリージョナルサービスへのアクセスがない • リージョナルサービスへアクセスするには (以下のいずれかが必要) • インターネットへの経路を確保 • サービスごとの VPC Endpoint を利用 45

Slide 45

Slide 45 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. ネットワークトラフィックを制御する 46 Private subnet Customer VPC AWS Cloud AWS Lambda Service VPC AWS Lambda 実行環境リージョナルサービス Amazon DynamoDB Amazon SNS Hyperplane NAT ENI Security Group Amazon SQS VPC Endpoint ENI VPC Endpoint Gateway Route table VPC Endpoint ENI インターネットへのアクセスなし

Slide 46

Slide 46 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. VPC接続を強制し、他VPCにも接続不可とする制御 47 { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt159186333251", "Action": [ "lambda:CreateFunction", "lambda:UpdateFunctionConfiguration" ], "Effect": "Deny", "Resource": "*", "Condition": { "ForAllValues:StringNotEquals": { "lambda:VpcIds": [ "vpc-0eebf3d0fe63a2db1" ] } } } ] } IAM User AWS Lambda CreateFunction or UpdateFunctionConfiguration Private subnet VPC ( vpc-X ) ENI VPCに未接続、または指定したVPC以外に接続しようとするとエラーとなる

Slide 47

Slide 47 text

Slide 48

Slide 48 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. コードで使用される機密情報を安全に保管する 49 VPC Private subnet AWS Secrets Manager AWS Lambda シークレットローテーション Amazon Aurora AWS Key Management Service Role 暗号化用の KMS鍵 Resource Policy シークレット情報取得シークレット情報を取得可能なVPCを制限シークレット情報を取得可能なIAM Role from aws_lambda_powertools.utilities import parameters def handler(event, context): # Retrieve a single secret value = parameters.get_secret("my-secret") コード内のハードコードされた認証情報 (パスワードを含む) を Secrets Manager への API コールで置き換えて、プログラムでシークレットを安全に利用することができます

Slide 49

Slide 49 text

Slide 50

Slide 50 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. API Gateway REST API のリクエスト検証 51 リクエスト Amazon API Gateway モデルモデルモデル { "$schema": "http://json-schema.org/draft-04/schema#", "title": "User", "type": "object", "properties": { "UserID": { "type": "string" }, "Name": { "type": "string" }, "Age": { "description": "Age in years", "type": "integer", "minimum": 18 } }, "required": ["UserID", "Name"] } application/json { "UserID": "U0001", "Name": "Jhon", "Age": 23 } HTTP Body 検証 • リクエストボディはコンテンツタイプとモデルのセットで検証可能。 • JSON形式のボディであれば、 application/json を設定し、モデルについてはJSON Schema draft4形式で各JSONのプロパティに対して検証実施 JSON Schema draft4

Slide 51

Slide 51 text

Slide 52

Slide 52 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. API Gatewayによるスロットリング制御 • 閾値を超えるとHTTP 429(Too Many Requests)エラー • リトライ実装はAPIクライアント開発者の責務 • Rate/Burstによるスロットリング設定が可能 • 使用量プランを使うと • Quota(呼び出し回数制限)の設定が可能 • (日/週/月あたりのリクエスト回数) 53

Slide 53

Slide 53 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. API Gatewayによるスロットリング制御 54 EC2上のエンドポイント AWS Lambd a AWSサービスインターネットリソース API Gateway 使用量プランThrottling設定 (任意) サーバー側Throttling設定メソッド x RESTリソース API x ステージアカウント x リージョン API x ステージ (default) Rate: 10000rps Burst 5000req Rate: ( ) rps Burst ( ) req 緩和可能 Rate: ( ) rps Burst ( ) req Rate: ( ) rps Burst ( ) req 使用量プランを設定したリクエスト使用量プランを設定していないリクエスト Quota 呼び出し回数制限 ※ThrottlingとQuota制限は、使用プランのすべての API ステージについて集約される個々の API キーのリクエストに適用されます x-api-key: A x-api-key: B x-api-key: C

Slide 54

Slide 54 text

Slide 55

Slide 55 text

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or its affiliates. スケーラブルではないリソースを保護 56 オンプレミスサーバーや永続層などサーバーレスに対応するスケーラビリティが見込まれないダウンストリームへのアクセスについては、直接行うのではなく、キューやストリーム等のバッファリングによって受け取るトランザクションの数を抑制することでコンポーネントスループットを調整 AWS Lambda Amazon API Gateway Amazon Simple Queue Service SQS イベントに対する同時実行数を小さくしておく Corporate data center オンプレミスサーバーダウンストリームで処理可能な量を処理