Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SQS SNS EventBridge update 2021
Search
kensh
January 26, 2022
Technology
0
230
SQS SNS EventBridge update 2021
SQS/SNS/EventBridge update 2021
kensh
January 26, 2022
Tweet
Share
More Decks by kensh
See All by kensh
サーバーレスアーキテクチャと生成AIの融合 / Serverless Meets Generative AI
_kensh
12
3.2k
サーバーレスで楽しよう!お気軽に始められる3つのポイント / Have fun with Serverless!
_kensh
3
450
Serverless Data Processing with AWS Lambda and Apache Kafka
_kensh
0
120
Technology that powers Lambda / AWS Lambda を支える技術
_kensh
25
7k
Platform Engineering with CodeCatalyst
_kensh
3
320
Innovation for Everyone
_kensh
0
140
Platform Engineering on Serverless
_kensh
14
3.5k
Asynchronous over Synchronous / 同期という思い込み世界は非同期で構成されている
_kensh
23
7.6k
地域発展の新たなフロンティアを探そう、地方企業こそサーバーレスを活用すべき3つの理由 / Local Startup With Serverless
_kensh
2
470
Other Decks in Technology
See All in Technology
なぜ私は自分が使わないサービスを作るのか? / Why would I create a service that I would not use?
aiandrox
0
790
関東Kaggler会LT: 人狼コンペとLLM量子化について
nejumi
3
610
Active Directory攻防
cryptopeg
PRO
2
920
コンピュータビジョンの社会実装について考えていたらゲームを作っていた話
takmin
1
220
偶然 × 行動で人生の可能性を広げよう / Serendipity × Action: Discover Your Possibilities
ar_tama
1
1.2k
プロダクトエンジニア 360°フィードバックを実施した話
hacomono
PRO
0
100
SA Night #2 FinatextのSA思想/SA Night #2 Finatext session
satoshiimai
1
150
自動テストの世界に、この5年間で起きたこと
autifyhq
10
8.7k
君も受託系GISエンジニアにならないか
sudataka
2
450
Developers Summit 2025 浅野卓也(13-B-7 LegalOn Technologies)
legalontechnologies
PRO
1
860
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
760
N=1から解き明かすAWS ソリューションアーキテクトの魅力
kiiwami
0
130
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
For a Future-Friendly Web
brad_frost
176
9.5k
Raft: Consensus for Rubyists
vanstee
137
6.8k
RailsConf 2023
tenderlove
29
1k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
970
How to Ace a Technical Interview
jacobian
276
23k
Practical Orchestrator
shlominoach
186
10k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Become a Pro
speakerdeck
PRO
26
5.1k
Building an army of robots
kneath
303
45k
Transcript
© 2022, Amazon Web Services, Inc. or its affiliates. All
rights reserved. サービスアップデート サーバーレス編︓ SQS/SNS/EventBridge アップデート Yohsuke Ishii S e r v e r l e s s M e e t u p J a p a n V i r t u a l # 2 0 - A W S r e : C a p Sr. Solutions Architect Amazon Web Services Japan
About the presenter AWS Lambda Amazon Simple Queue Service Amazon
API Gateway ⽯井 陽介 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 インダストリーソリューション部 ソリューション アーキテクト 好きなAWSサービス
当セッションの概要 • AWS re:Invent 2021 期間中に発表されたものを中⼼に、2021 年の Amazon SQS, Amazon
SNS, Amazon EventBridge に関連する 主要アップデートをご紹介します。 • 各サービスの基本的な動作の解説は当セッションでは⾏いませんので、 AWS Black Belt Online Seminar をご視聴ください。 https://aws.amazon.com/jp/aws-jp-introduction/
Agenda 1. Amazon SQS Update 2. Amazon SNS Update 3.
Amazon EventBridge Update
© 2022, Amazon Web Services, Inc. or its affiliates. All
rights reserved.
2021 Amazon SQS 主要 Update • Amazon SQS が段階的価格設定を発表 (2021/01/05)
https://aws.amazon.com/about-aws/whats-new/2021/01/amazon-sqs-announces-tiered-pricing/ • Amazon SQS が、 FIFO キューの⾼スループットモードをサポート開始しました (2021/05/27) https://aws.amazon.com/about-aws/whats-new/2021/05/amazon-sqs-now-supports-a-high-throughput-mode-for-fifo-queues/ • AWS Lambda が、イベントソースとしての SQS への部分バッチ応答のサポートを開始 (2021/11/23) https://aws.amazon.com/about-aws/whats-new/2021/11/aws-lambda-partial-batch-response-sqs-event-source/ • Amazon SQS が Amazon SQS マネージドの暗号化キーによるサーバー側の暗号化を発表 (2021/11/23) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sqs-server-side-encryption-keys-sse/ • Amazon SQS が標準キューのデッドレターキュー管理エクスペリエンスを強化 (2021/12/01) https://aws.amazon.com/about-aws/whats-new/2021/12/amazon-sqs-dead-letter-queue-management-experience-queues/
2021 Amazon SQS 主要 Update • Amazon SQS が段階的価格設定を発表 (2021/01/05)
https://aws.amazon.com/about-aws/whats-new/2021/01/amazon-sqs-announces-tiered-pricing/ • Amazon SQS が、 FIFO キューの⾼スループットモードをサポート開始しました (2021/05/27) https://aws.amazon.com/about-aws/whats-new/2021/05/amazon-sqs-now-supports-a-high-throughput-mode-for-fifo-queues/ • AWS Lambda が、イベントソースとしての SQS への部分バッチ応答のサポートを開始 (2021/11/23) https://aws.amazon.com/about-aws/whats-new/2021/11/aws-lambda-partial-batch-response-sqs-event-source/ • Amazon SQS が Amazon SQS マネージドの暗号化キーによるサーバー側の暗号化を発表 (2021/11/23) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sqs-server-side-encryption-keys-sse/ • Amazon SQS が標準キューのデッドレターキュー管理エクスペリエンスを強化 (2021/12/01) https://aws.amazon.com/about-aws/whats-new/2021/12/amazon-sqs-dead-letter-queue-management-experience-queues/
• 暗号化対象はメッセージ本⽂で、メッ セージ属性(後述)は対象外 • AWS 利⽤料⾦が別途必要。暗号化に利⽤ するデータキーのキャッシュ時間の調整 によりコストを調整可能 • キュー内に保存されたメッセージを暗号
化により保護 • キューへのアクセス権に加えAWS KMS の鍵へのアクセス権をもつユーザーのみ がメッセージの送信・受信が可能になる サーバサイド暗号化 (SSE) を利⽤したメッセージの暗号化 Amazon SQS キュー内に保持されたメッセージを AES-256 による暗号化で保護 AWS KMS key または [New!] Amazon SQS Key SendMessage Request ReceiveMessage Request キュー プロデューサ コンシューマ メッセージ メッセージ メッセージ (暗号化済み) サーバサイド暗号化︓ https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-server-side-encryption.html 利⽤⽬的 考慮点 Amazon SQS
マネージドキーによるサーバーサイドの暗号化 • SQSが所有する暗号化キーで機密データを 保護 (SSE-SQS) • KMS を使⽤した顧客提供の暗号化キー(SSE-KMS)に 加えて提供される新たな選択肢 •
新規のキュー作成時に SSE-SQS または SSE-KMS を選択可能 • いずれの暗号化オプションも、データの保護に伴う業務 上の負担と複雑さを軽減 • SSE-SQS では、暗号化キーを作成や管理が不要に • 中国リージョンを除く、すべてのAWS の商 ⽤および GovCloud リージョンで利⽤可能 SQS 所有の暗号化キー (SSE-SQS) を使⽤したマネージドなサーバーサイド暗号化を提供
デッドレター キュー Dead Letter Queue(DLQ) 正しく処理できないメッセージがキュー内に滞留し続ける状態を回避するために分離先として利⽤ されるキュー。分離後、メッセージを解析して原因分析が可能 DLQ︓https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-dead-letter-queues.html • 同⼀リージョン、同⼀アカウント、同⼀タイプ
(FIFO/スタンダードキュー)で作成する必要 あり • データの保持期間は元のキューに追加された際 のタイムスタンプに基づく • FIFOキューで順序が変わることが許容できない 場合は利⽤しない。 • 無制限に繰り返したい場合は利⽤しない。 • 正常処理できないメッセージが残り続けること を早期(保持期間より前)に回避する • DLQのメッセージを解析し原因の分析に活⽤ • DLQにアラームを設定することで検知可能 時間経過 ソースキュー コンシューマ メッセージ コンシューマ 利⽤⽬的 考慮点 コンシューマ メッセージ .ReceiveMessage Request redrive policy [New!] dead-letter queue redrive
デッドレターキューの再処理 • デッドレターキュー (DLQ) に格納された メッ セージを再処理 (リドライブ) • メッセージのライフサイクル管理を効率的に
• SQS 標準キューに対応 • Amazon SQS コンソールから利⽤可能 • 簡単なクリック操作によって、DLQ 内のメッセージサンプルを検 査し、ソースキューへの移動が可能 • カスタムスクリプトによる再投⼊が不要に • 中国リージョンを除く、すべてのAWS の商⽤およ び GovCloud リージョンで利⽤可能 標準キューのデッドレターキュー管理エクスペリエンス強化 Source Queue DLQ Application エラー発⽣時 DLQに移動 Source Queue DLQ Application DLQから 書き戻す メッセージを 取得して再処理 (通常時と同じ処理)
再処理タスク • 内部的に SendMessageBatch, ReceiveMessage, and DeleteMessageBatch の各APIを発⾏ • messageid
と enqueueTime は新たに⽣成され、保持期間も再 計算される • 再処理の宛先はソースキューまたは既存の標準 キューから選択 • 最⼤実⾏時間: 36時間 • アカウント当たりの最⼤同時実⾏数: 100 • メッセージのフィルタリングや修正は未対応 • 実⾏中のタスクをマネージメントコンソール上から キャンセル可能 • キャンセル時点で移動済みのメッセージは宛先キューに残る
© 2022, Amazon Web Services, Inc. or its affiliates. All
rights reserved.
Demo - SQS DLQ Redrive 1. Queue と Poison Message
<Source Queue> DemoQueue1 Message Sender Receiver Amazon SQS Message
Demo - SQS DLQ Redrive 2. Dead Letter Queue と
Redrive Policy <Source Queue> DemoQueue1 <Dead-letter Queue> DLQ1 Message Redrive Policy Sender Receiver Amazon SQS Message
Demo - SQS DLQ Redrive 3. DLQ Redrive <Source Queue>
DemoQueue1 <Dead-letter Queue> DLQ1 Message Redrive Policy DLQ Redrive Task Sender Receiver Amazon SQS Message
© 2022, Amazon Web Services, Inc. or its affiliates. All
rights reserved.
2021 Amazon SNS 主要 Update • Amazon SNS が、Kinesis Data
Firehose サブスクリプションを介してメッセージのアーカイブと分析のサポート を追加 (2021/01/12) https://aws.amazon.com/about-aws/whats-new/2021/01/amazon-sns-adds-support-for-message-archiving-and-analytics-via- kineses-data-firehose-subscriptions/ • Amazon SNS が 1 分間隔の CloudWatch メトリクスをサポート (2021/01/29) https://aws.amazon.com/about-aws/whats-new/2021/01/amazon-sns-now-supports-1-minute-cloudwatch-metrics/ • Amazon SNS でメッセージフィルタリング演算⼦のセットが増加 (2021/04/26) https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-sns-grows-the-set-of-message-filtering-operators/ • Amazon SNS は SMS Sandbox をサポートし、お客様のアカウントの利⽤できる発信者 ID を表⽰します (2021/06/01) https://aws.amazon.com/about-aws/whats-new/2021/06/amazon-sns-now-supports-sms-sandbox-and-displays-available- origination-ids-in-your-account/ • Amazon SNS で APN モバイルプッシュ通知のトークンベース認証に対応 (2021/11/09) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sns-token-authentication-api-mobile-notifications/ • Amazon SNS が、単⼀の API リクエストで最⼤10個のメッセージのバッチを発⾏するサポートを開始 (2021/11/18) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sns-supports-publishing-batches-messages-single-api-request/
2021 Amazon SNS 主要 Update • Amazon SNS が、Kinesis Data
Firehose サブスクリプションを介してメッセージのアーカイブと分析のサポート を追加 (2021/01/12) https://aws.amazon.com/about-aws/whats-new/2021/01/amazon-sns-adds-support-for-message-archiving-and-analytics-via- kineses-data-firehose-subscriptions/ • Amazon SNS が 1 分間隔の CloudWatch メトリクスをサポート (2021/01/29) https://aws.amazon.com/about-aws/whats-new/2021/01/amazon-sns-now-supports-1-minute-cloudwatch-metrics/ • Amazon SNS でメッセージフィルタリング演算⼦のセットが増加 (2021/04/26) https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-sns-grows-the-set-of-message-filtering-operators/ • Amazon SNS は SMS Sandbox をサポートし、お客様のアカウントの利⽤できる発信者 ID を表⽰します (2021/06/01) https://aws.amazon.com/about-aws/whats-new/2021/06/amazon-sns-now-supports-sms-sandbox-and-displays-available- origination-ids-in-your-account/ • Amazon SNS で APN モバイルプッシュ通知のトークンベース認証に対応 (2021/11/09) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sns-token-authentication-api-mobile-notifications/ • Amazon SNS が、単⼀の API リクエストで最⼤10個のメッセージのバッチを発⾏するサポートを開始 (2021/11/18) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-sns-supports-publishing-batches-messages-single-api-request/
メッセージのバッチ発行をサポート • 新たに PublishBatch API が提供開始 • これまでは、メッセージごとに個別の API リクエストが必要
• リクエストごとに最⼤ 10 メッセージをバッチ処理可能 • スタンダードトピックと FIFOトピックをサポート • メッセージ発⾏ API の実⾏回数を最適化 • Quotaの消費とコストを最適化することができる • すべてのAWS の商⽤および GovCloud リー ジョンで利⽤可能 最⼤10個のメッセージを単⼀のバッチリクエストで発⾏可能に Topic Amazon Simple Notification Service (Amazon SNS) ・・・ Messages PublishBatch
© 2022, Amazon Web Services, Inc. or its affiliates. All
rights reserved.
2021 Amazon EventBridge 主要 Update • Amazon EventBridge が X-Ray
トレースコンテキスト伝達のサポートを開始 (2021/03/02) https://aws.amazon.com/about-aws/whats-new/2021/03/amazon-eventbridge-now-supports-propagation-of-x-ray-trace-context/ • Amazon EventBridge が API Destinations のサポートを導⼊ (2021/03/04) https://aws.amazon.com/about-aws/whats-new/2021/03/amazon-eventbridge-introduces-support-for-api-destinations/ • Amazon EventBridge でクロスリージョンでのイベントバスのターゲットをサポート開始 (2021/04/15) https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-eventbridge-introduces-support-cross-region-event-bus- targets/ • Amazon EventBridge が同じアカウントとリージョン内の複数のイベントバス間でのイベント共有をサポート (2021/05/19) https://aws.amazon.com/about-aws/whats-new/2021/05/amazon-eventbridge-supports-sharing-events-between-event-buses- same-account-region/ • Amazon EventBridge クロスリージョンサポートをより多くのリージョンに拡張 (2021/11/22) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-eventbridge-cross-region-expands/ • Amazon EventBridge と Amazon S3 イベント通知でアドバンストサーバーレスアプリケーションの構築を⾼速化 (2021/11/29) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-s3-event-notifications-amazon-eventbridge-build-advanced- serverless-applications/
2021 Amazon EventBridge Update • Amazon EventBridge が X-Ray トレースコンテキスト伝達のサポートを開始
(2021/03/02) https://aws.amazon.com/about-aws/whats-new/2021/03/amazon-eventbridge-now-supports-propagation-of-x-ray-trace-context/ • Amazon EventBridge が API Destinations のサポートを導⼊ (2021/03/04) https://aws.amazon.com/about-aws/whats-new/2021/03/amazon-eventbridge-introduces-support-for-api-destinations/ • Amazon EventBridge でクロスリージョンでのイベントバスのターゲットをサポート開始 (2021/04/15) https://aws.amazon.com/about-aws/whats-new/2021/04/amazon-eventbridge-introduces-support-cross-region-event-bus- targets/ • Amazon EventBridge が同じアカウントとリージョン内の複数のイベントバス間でのイベント共有をサポート (2021/05/19) https://aws.amazon.com/about-aws/whats-new/2021/05/amazon-eventbridge-supports-sharing-events-between-event-buses- same-account-region/ • Amazon EventBridge クロスリージョンサポートをより多くのリージョンに拡張 (2021/11/22) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-eventbridge-cross-region-expands/ • Amazon EventBridge と Amazon S3 イベント通知でアドバンストサーバーレスアプリケーションの構築を⾼速化 (2021/11/29) https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-s3-event-notifications-amazon-eventbridge-build-advanced- serverless-applications/
ターゲットに API Destinations を指定可能に ポイント • 任意のエンドポイントに対して HTTPリクエストを送ることができる • コードの実装は不要
• 3種類の認証タイプ (Basic認証 / OAuth クライアントクレデンシャル / API キー) を利⽤可能。クレデンシャル は AWS Secrets Manager で管理。 • ⼊⼒値のカスタマイズやリトライ、 呼び出しレートの調整も可能
Amazon S3 イベント通知のサポート • ObjectCreated, ObjectRemoved, ObjectRestored や レプリケーションを含む全ての S3
イベント通知タイプ に対応 • オブジェクトサイズや時刻などのイベント メタデータ に基づいて、ターゲットを呼び出す前に フィルターを 適⽤ • EventBridge の⾼度なフィルタリング機能やルーティ ング機能を利⽤して、AWS Lambda、Amazon Kinesis、AWS Step Functions、Amazon SQS を含む 18 のターゲットにイベントを送信できるように Amazon Simple Storage Service (Amazon S3) S3 Standard S3 Glacier Amazon EventBridge Event
Thank you! © 2022, Amazon Web Services, Inc. or its
affiliates. All rights reserved. Yohsuke Ishii yohsuki@amazon.co.jp https://www.linkedin.com/in/yohsuke-ishii-jp/