サーバーレスを “安全・安心” に使う / Serverless Security Pattern

サーバーレスを “安全・安心” に使う © 2023, Amazon Web Services, Inc. or
its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. サーバーレスを “安全・安心” に使う (パターン集) J A W S - U G 札幌第 2 9 回勉強会 Kensuke Shimokawa Snr. Serverless Specialist Amazon Web Services Japan https://speakerdeck.com/_kensh https://qiita.com/_kensh

its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. About Me… Kensuke Shimokawa Amazon Web Services Japan Snr. Serverless Specialist https://speakerdeck.com/_kensh https://qiita.com/_kensh

its affiliates. 安全・安心ってなに？ 5 安全危険がなく安心なこと。傷病などの生命にかかわる心配、物の盗難・破損などの心配のないこと。また、そのさま。安心気にかかることがなく心が落ち着いていること。また、そのさま。辞書

its affiliates. 安全と安心を考える 6 https://www.soumu.go.jp/johotsusintokei/whitepaper/column_uchida.html 出典) 総務省有識者コラム

its affiliates. 責任共有モデル - Lambda 8 https://docs.aws.amazon.com/lambda/latest/dg/lambda-security.html

its affiliates. Isolation / 独立環境 9 function instance f(x)=>{ } f(x) deployment g(x) request to f(x) handling cold start

its affiliates. Isolation / 独立環境 10 function instance f(x)=>{ } f(x) deployment g(x) response from f(x)

its affiliates. Isolation / 独立環境 11 function instance f(x)=>{ } f(x) deployment g(x) request to f(x) handling warm start request to f(x) function instance f(x)=>{ } handling cold start request to g(x) function instance g(x)=>{ } handling cold start

its affiliates. Isolation / 独立環境 12 function instance f(x)=>{ } f(x) deployment g(x) request to f(x) handling warm start request to f(x) function instance f(x)=>{ } handling cold start request to g(x) function instance g(x)=>{ } handling cold start リクエスト単位で Lambdaのinstanceは使いまわされるので、たとえば単一のLambda関数を複数のユースケースで再利用していた場合、その再利用による memoryからの意図しない漏洩はユーザ側での考慮が必要

its affiliates. Amazon Inspector 14 • 特徴 § ワンクリックで有効化 § リソースの⾃動検出と継続的スキャン § ダッシュボードによる容易な脆弱性管理 § 独⾃含むスコア算出による優先順位付け § Organizationとの連携で⼤規模な管理 § Security Hub, EventBridgeとの連携で検知から対応までサポート § Amazon EC2, Amazon ECR, AWS Lambda に対応 Amazon EC2 Amazon ECR Amazon Inspector AWS Lambda ソフトウェアの脆弱性や意図しないネットワーク露出領域を継続的なスキャンで検知する脆弱性管理サービス

its affiliates. BillingサービスでBudgetを設定して日毎に検知 16 意図しない利用額にならないように、 BillingサービスでBudgetを設定して翌日には検知 ( SNS通知など )

its affiliates. Compute Optimizer の推奨事項の理解 (1/2) 17 メモリが過剰にプロビジョニングされている（Memory over-provisioned）と認識され、そのため関数が最適化されていない（Not optimized）と判定

its affiliates. Compute Optimizer の推奨事項の理解 (2/2) 18 メモリを大きくすると、呼び出しによる予想利用コストが、5.1% 〜 4.6% 削減見込み

its affiliates. AWS Lambda Power Tuning によるチューニング 19 AWS Lambda Power Tuning は、 AWS Step Functions を利⽤したステートマシンであり、 Lambda 関数のコストやパフォーマンスを最適化 INPUT OUTPUT 128 MB 256 MB 512 MB 1024 MB https://github.com/alexcasalboni/aws-lambda-power-tuning { "lambdaARN": "arn:aws:lambda: snip", "powerValues": [128,256, 512, 1024,1536,2048, 3008], "num": 1000, "payload": { }, "parallelInvocation": true, "strategy": "speed | cost" } User functions

its affiliates. CPU Intensive な処理系 20 def lambda_handler(event, context): heavy_CPU_job() return { 'statusCode': 200, 'body': json.dumps(‘CPU worked’), } コスト = GB秒 x リクエスト件数 time cost MB

its affiliates. 外部 APIコールに依存する処理系 def lambda_handler(event, context): external_API_call() return { 'statusCode': 200, 'body': json.dumps(‘API worked’), } コスト = GB秒 x リクエスト件数 time cost MB 21

its affiliates. Lambdaのトラフィックシフト機能 23 AWS Lambda Alias: prod 新機能 Lambda エイリアスに 2 つの関数バージョンを指定して、各バージョンにルーティングされるトラフィックの割合を設定できる

its affiliates. Lambdaのトラフィックシフト機能 24 AWS SAM を使用してLambda関数を更新する場合、CodeDeploy が組み込まれているため、 Lambda関数を線形にデプロイ可能 https://docs.aws.amazon.com/ja_jp/serverless-application-model/latest/developerguide/automating-updates-to-serverless-apps.html HelloFunction: Type: AWS::Serverless::Function Properties: Runtime: python3.9 Handler: index.handler AutoPublishAlias: !Ref Stage DeploymentPreference: Enabled: true Type: Linear10PercentEvery1Minute

its affiliates. API Gatewayのカナリアリリース 25 リクエスト新機能 Amazon API Gateway ステージに対して「Canary」を定義すると、APIの「デプロイ」操作でそのステージを指定した際に一旦Canary に対してのみデプロイされるようになる(メインの内容は変わらない) Canaryに対して以下の操作が可能： • 昇格 • Canaryのデプロイ内容をメインのステージに反映 • 削除 • Canaryを削除して、メインステージのみの構成に戻す

its affiliates. API Gatewayのカナリアリリース 26 AWS SAM を使用してAPI Gateway REST APIを更新デプロイする場合は、カナリアの設定を組込めるため、ステージに安全にデプロイ可能 HelloWorldApi: Type: AWS::Serverless::Api Properties: StageName: !Ref StageName CanarySetting: PercentTraffic: 10 UseStageCache: false https://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/canary-release.html

its affiliates. AWS AppConfig によるロジックと設定の分離 27 デプロイ戦略 • ベータ環境や本番環境などの論理的なデプロイグループを管理可能 • 論理環境ごとに Amazon CloudWatch アラームを設定し AppConfig によってモニタリングすることが可能で、デプロイ中にアラームが発生するとロールバックをトリガー (設定値のValidationも可能) • アプリケーションからは AppConfig の GetConfiguration APIでパラメータを取得できるため、関数インスタンスごとにユニークなClientIDを振っておけば自動的に戦略に沿ったカナリアが実現 • 設定用と関数本体用にCICDパイプラインを分離し2 つ用意する • ここでの設定とはLambda サービスの設定ではなく、アプリケーション内のロジックにおける設定のこと（例. フィーチャーフラグ on/off） AWS AppConfig https://aws.amazon.com/jp/blogs/news/safe-deployment-of-application-configuration-settings-with-aws-appconfig/ AWS Lambda 新設定初期化時に取得し TTL付きキャッシュしておく Pull Pull 初期化時に取得し TTL付きキャッシュしておく Parameter Storeなど Parameter Storeなど

its affiliates. embedded metric format / 埋め込みメトリクスフォーマット 29 { "_aws": { "CloudWatchMetrics": [ { "Dimensions": [ [ "functionVersion" ] ], ... } ] }, "functionVersion": "$LATEST" } https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/Clo udWatch_Embedded_Metric_Format_Specification.html CloudWatch 埋め込みメトリクスフォーマットは、 • 構造化ログイベントに埋め込まれたメトリクス値を自動的に抽出するように CloudWatch Logs に指示するために使用される JSON 仕様

its affiliates. embedded metric format 30 Amazon API Gateway Mobile client Amazon CloudWatch Logs AWS Secrets Manager Amazon Aurora AWS Lambda Amazon CloudWatch Metrics ⾃動的⾮同期 embedded metric format 標準出⼒ CloudWatch 埋め込みメトリクスフォーマットは、 • 構造化ログイベントに埋め込まれたメトリクス値を自動的に抽出するように CloudWatch Logs に指示するために使用される JSON 仕様

its affiliates. embedded metric format 31 from aws_embedded_metrics import metric_scope @metric_scope def lambda_handler(event, context, metrics): results = conn.runQuery(sql) metrics.set_namespace("Summit2022") metrics.put_dimensions({"dim": "sales"}) metrics.put_metric("Conversion", results.Count, "Count") { "LogGroup": "embedded-log", (snip) "_aws": { "Timestamp": 1645369641214, "CloudWatchMetrics": [ { "Dimensions": [["LogGroup", ”ServiceName", "ServiceType", "dim" ]], "Metrics": [{ "Name": "Conversion", "Unit": "Count” }], "Namespace": "Summit2022" } ] }, "Conversion": 100 } Amazon CloudWatch Logs CloudWatch Logs に標準出⼒

its affiliates. 32

its affiliates. embedded metric format 33 { … "lambda_function_name":.., "lambda_function_memory_size": 128, "lambda_function_arn": ”…", "lambda_request_id": "52fd..", "message": ”Aha", "cold_start": true } Result デコレータで関数Context情報も出力可能

its affiliates. カスタムメトリックの出力 34 Result ビジネスKPIを可視化！

its affiliates. コールドスタートログのみを抽出 (CloudWatch Logs Insights) 35

its affiliates. 分散トレースを使用 (AWS X-Ray) 36 X-Ray を使用すると、フロントエンド API からバックエンドのストレージとデータベースまで、アプリケーション内のリソースを横断する際にリクエストをトレースできます

its affiliates. トレース / サービスマップ 37 デコレータでサブセグメントも定義

its affiliates. トレース / サービスマップ 38 関数セグメントを拡張して、そのサブセグメントを表示

its affiliates. AWS Lambda Extensions 39 Lambda Extensionsは、Lambdaをお気に入りの監視、セキュリティツールおよびガバナンスツールと簡単に統合する新しい方法です

its affiliates. Lambda Insights Performance monitoring 40 Lambda Insights

its affiliates. Lambda Concurrency Hunt でスパイクを発見 41 過去7日間のMetricsに対して同時実行数が最も高い期間を見つけ、そのSpikeの前の 6分間の情報を出力する。 • 関数の呼び出し回数 • 平均処理時間 • 同時実行数 $ curl https://raw.githubusercontent.com/aws-samples/aws-lambda-concurrency-hunt/master/lambda-con-hunt.py -o lambda-con-hunt.py $ python3 lambda-con-hunt.py ※ Lambdaの1 分間隔Metricsにおいて、15 日間は 1 分の分解能を持つ。以降も使用可能だが、5 分に集約された分解能となる https://aws.amazon.com/jp/cloudwatch/faqs/ Concurrency Hunt

its affiliates. リソースポリシー 43 API Gateway AWS Lambda AWS Cloud { "Version": "2012-10-17", "Id": "default", "Statement": [{ "Sid": ”123456c7-a198-4b2d-b5fc-57fb5fefa0e8", "Effect": "Allow", "Principal": {"Service": "apigateway.amazonaws.com"}, "Action": "lambda:InvokeFunction", "Resource": ”LambdaFunctionARN", "Condition": { "ArnLike": { "AWS:SourceArn": ”sourceServiceARN" } } }] } { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": "*", "Action": "execute-api:Invoke", "Resource": "execute-api:/*/*/*" },{ "Effect": "Deny", "Principal": "*", "Action": "execute-api:Invoke", "Resource": "execute-api:/*/*/*", "Condition": { "NotIpAddress": {"aws:SourceIp": ["sourceIpOrCIDRBlock”]} } }] }

its affiliates. VPC Lambdaについて • VPCリソースへのアクセスに、Lambda関数をVPC接続設定する必要がある • VPC Lambdaはデフォルトでインターネットアクセスがない • インターネットアクセスするためには • Public Subnet に NAT Gateway を設置 • Internet Gateway を VPC に設置 • Route Table でインターネットへの経路を追加 44

its affiliates. VPC Lambdaについて • VPC Lambdaはデフォルトでリージョナルサービスへのアクセスがない • リージョナルサービスへアクセスするには (以下のいずれかが必要) • インターネットへの経路を確保 • サービスごとの VPC Endpoint を利用 45

its affiliates. ネットワークトラフィックを制御する 46 Private subnet Customer VPC AWS Cloud AWS Lambda Service VPC AWS Lambda 実行環境リージョナルサービス Amazon DynamoDB Amazon SNS Hyperplane NAT ENI Security Group Amazon SQS VPC Endpoint ENI VPC Endpoint Gateway Route table VPC Endpoint ENI インターネットへのアクセスなし

its affiliates. VPC接続を強制し、他VPCにも接続不可とする制御 47 { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt159186333251", "Action": [ "lambda:CreateFunction", "lambda:UpdateFunctionConfiguration" ], "Effect": "Deny", "Resource": "*", "Condition": { "ForAllValues:StringNotEquals": { "lambda:VpcIds": [ "vpc-0eebf3d0fe63a2db1" ] } } } ] } IAM User AWS Lambda CreateFunction or UpdateFunctionConfiguration Private subnet VPC ( vpc-X ) ENI VPCに未接続、または指定したVPC以外に接続しようとするとエラーとなる

its affiliates. コードで使用される機密情報を安全に保管する 49 VPC Private subnet AWS Secrets Manager AWS Lambda シークレットローテーション Amazon Aurora AWS Key Management Service Role 暗号化用の KMS鍵 Resource Policy シークレット情報取得シークレット情報を取得可能なVPCを制限シークレット情報を取得可能なIAM Role from aws_lambda_powertools.utilities import parameters def handler(event, context): # Retrieve a single secret value = parameters.get_secret("my-secret") コード内のハードコードされた認証情報 (パスワードを含む) を Secrets Manager への API コールで置き換えて、プログラムでシークレットを安全に利用することができます

its affiliates. API Gateway REST API のリクエスト検証 51 リクエスト Amazon API Gateway モデルモデルモデル { "$schema": "http://json-schema.org/draft-04/schema#", "title": "User", "type": "object", "properties": { "UserID": { "type": "string" }, "Name": { "type": "string" }, "Age": { "description": "Age in years", "type": "integer", "minimum": 18 } }, "required": ["UserID", "Name"] } application/json { "UserID": "U0001", "Name": "Jhon", "Age": 23 } HTTP Body 検証 • リクエストボディはコンテンツタイプとモデルのセットで検証可能。 • JSON形式のボディであれば、 application/json を設定し、モデルについてはJSON Schema draft4形式で各JSONのプロパティに対して検証実施 JSON Schema draft4

its affiliates. API Gatewayによるスロットリング制御 • 閾値を超えるとHTTP 429(Too Many Requests)エラー • リトライ実装はAPIクライアント開発者の責務 • Rate/Burstによるスロットリング設定が可能 • 使用量プランを使うと • Quota(呼び出し回数制限)の設定が可能 • (日/週/月あたりのリクエスト回数) 53

its affiliates. API Gatewayによるスロットリング制御 54 EC2上のエンドポイント AWS Lambd a AWSサービスインターネットリソース API Gateway 使用量プランThrottling設定 (任意) サーバー側Throttling設定メソッド x RESTリソース API x ステージアカウント x リージョン API x ステージ (default) Rate: 10000rps Burst 5000req Rate: ( ) rps Burst ( ) req 緩和可能 Rate: ( ) rps Burst ( ) req Rate: ( ) rps Burst ( ) req 使用量プランを設定したリクエスト使用量プランを設定していないリクエスト Quota 呼び出し回数制限 ※ThrottlingとQuota制限は、使用プランのすべての API ステージについて集約される個々の API キーのリクエストに適用されます x-api-key: A x-api-key: B x-api-key: C

its affiliates. スケーラブルではないリソースを保護 56 オンプレミスサーバーや永続層などサーバーレスに対応するスケーラビリティが見込まれないダウンストリームへのアクセスについては、直接行うのではなく、キューやストリーム等のバッファリングによって受け取るトランザクションの数を抑制することでコンポーネントスループットを調整 AWS Lambda Amazon API Gateway Amazon Simple Queue Service SQS イベントに対する同時実行数を小さくしておく Corporate data center オンプレミスサーバーダウンストリームで処理可能な量を処理

its affiliates. Lambda のイベントソースで最大同時実行数設定 57

its affiliates. まとめコスト最適化、カナリアデプロイ、セキュリティ、ダウンストリーム保護など様々な観点でユーザーを守る仕組みがあります。ぜひ、明日から開発者が安全・安心に利用できるように！懇親会であれもこれもという話があれば声をかけてください＾＾ 59

サーバーレスを “安全・安心” に使う / Serverless Security Pattern

サーバーレスを “安全・安心” に使う / Serverless Security Pattern

More Decks by kensh

Other Decks in Technology

Featured

Transcript