Amazon SQSを勉強しなおしてみた

by amarelo_n24

Slide 1

Slide 1 text

Amazon SQSを勉強しなおしてみた 2021/5/27 JAWS-UG朝会 #21

Slide 2

Slide 2 text

１．はじめに２．Amazon SQSの概要と各種設定３．SQSの実践チュートリアルをやってみた４．まとめ話すこと

Slide 3

Slide 3 text

１．はじめに

Slide 4

Slide 4 text

自己紹介氏名：藤田直幸 twitter：@amarelo_n24 ※ コーヒー焙煎人兼エンジニアと名乗ってます。職場：都内にある企業の情報セキュリティ統制担当資格：AWS認定クラウドプラクティショナーソリューションアーキテクトアソシエイト ※現在、デベロッパーアソシエイトの勉強中好きなAWSサービス：AWS CLI、AWS CloudShell、Cloud9 好きなコーヒー：ブラジルブルボンアマレロ

Slide 5

Slide 5 text

AWSの実務経験はおろか、開発経験もロクにないくせに、来月デベロッパーアソシエイトを受験しようとしています！！（申し込みはこれから）メッセージングサービスへの理解がまだまだ乏しかったため、ちゃんと理解したい！と思い、SQSの勉強をして登壇もしようと思いました！ ※他のサービスも「完全に理解」していません・・・

Slide 6

Slide 6 text

様々な参考文献を読んで資料を作りましたが、間違いなどあったらご指摘お願いします🙇

Slide 7

Slide 7 text

２．Amazon SQSの概要と各種設定

Slide 8

Slide 8 text

・フルマネージド型のメッセージキューイングサービス・AWSサービスの中で最古のサービス（2004年サービスイン）・マイクロサービス、分散システム、およびサーバーレスアプリケーションの切り離しとスケーリングが可能・AWS KMS（Key Management Service）と連携して、サーバ側の暗号化することが可能・メッセージの最大容量は256KB （１）Amazon SQSとは？

Slide 9

Slide 9 text

SNS（Amazon Simple Notification Service）との違い・SNSはプッシュ型通信 SNS側がメッセージを発行してくる。（１）Amazon SQSとは？コンシューマー Amazon Simple Notification Service (Amazon SNS)

Slide 10

Slide 10 text

SNS（Amazon Simple Notification Service）との違い・SQSはプル型通信コンシューマーがキューにポーリングして、メッセージがキューの中にあれば取得できる。（１）Amazon SQSとは？コンシューマー Amazon Simple Queue Service (Amazon SQS)

Slide 11

Slide 11 text

①標準キュー・1秒あたりのトランザクション数はほぼ無制限。・少なくとも1回のメッセージ配信を保証。・同一メッセージが2回配信される可能性がある。・メッセージの配信順序を保証していない。 ※ほぼ無制限のスループットを可能にする高度に分散されたアーキテクトのため。（２）キュータイプ

Slide 12

Slide 12 text

重複実行しない設計・一度メッセージを受信して処理を実行したことを DynamoDBに記録する。冪等性を確保するアプリケーション設計・同じメッセージを受信して処理を実行したとしても、結果がまったく変わらないようにする。 ※標準キューが2回以上配信された場合の設計

Slide 13

Slide 13 text

②FIFO（First-in-first-out）キュー・メッセージの配信順序を保証する。 ⇒操作とイベントの順序が重要な場合、メッセージの重複が許容されない場合に使用する。・メッセージ重複排除IDを使って重複を防ぐ設計がされている。・1秒あたりのトランザクション数バッチ処理なし：300件バッチ処理あり：3000件（２）キュータイプ

Slide 14

Slide 14 text

AWS CLIでFIFOキューを作成する場合 sqs create-queue コマンドのオプション --attributes FifoQueue=true を指定することで設定可能。（２）キュータイプ

Slide 15

Slide 15 text

マネコンからも、FIFOキューで作成されたこと確認。（２）キュータイプ

Slide 16

Slide 16 text

①ショートポーリング・デフォルトのポーリング設定・メッセージの有無に関わらず即レスする。・分散されたメッセージからサンプリングされたサーバのメッセージを応答するため、メッセージ取得できないことも。・APIの呼び出し回数が多くコストが高くなる。（３）ポーリング

Slide 17

Slide 17 text

②ロングポーリング・メッセージがない場合は設定されたタイムアウト値が過ぎるまで、レスポンスしない。・すべてのサーバをクエリし、メッセージを応答する。・複数のキューをポーリングする必要がない場合に選択する。 ※通常はこちらを使うことが多い。（３）ポーリング

Slide 18

Slide 18 text

2021/5/26現在の設定画面ロングポーリング設定（３）ポーリング

Slide 19

Slide 19 text

AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes ReceiveMessageWaitTimeSeconds=（秒数）で設定（３）ポーリング

Slide 20

Slide 20 text

コンシューマーがメッセージを受け取った直後、他のコンシューマーがメッセージを再度処理するのを防ぐために設定するタイムアウト値。デフォルト：30秒最大値：12時間最小値：0秒（４）可視性タイムアウト（Visibility Timeout）

Slide 21

Slide 21 text

コンシューマーがメッセージを受信しても、キューから自動的に削除されない。可視性タイムアウトを設定していないと、他のコンシューマーがメッセージを受信できてしまい、重複処理が起こる恐れがある。（４）可視性タイムアウト（Visibility Timeout）可視性タイムアウトを 1分と設定した場合は、その間メッセージの受信をできない。

Slide 22

Slide 22 text

2021/5/26現在の設定画面（４）可視性タイムアウト（Visibility Timeout）

Slide 23

Slide 23 text

AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes VisibilityTimeout=（秒数）で設定（４）可視性タイムアウト（Visibility Timeout）

Slide 24

Slide 24 text

メッセージをキューに送信してから、一定時間後にメッセージを受信できるようにする機能。キュー全体に設定をする。メッセージの処理を一定時間を遅延させて実行させたい場合に利用。（５）遅延キュープロデューサー 10秒前のコンシューマー 10秒後のコンシューマー遅延キュー10秒と設定。

Slide 25

Slide 25 text

2021/5/26現在の設定画面（５）遅延キュー

Slide 26

Slide 26 text

AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes DelaySeconds=（秒数）で設定（５）遅延キュー

Slide 27

Slide 27 text

メッセージ送信後、一定時間経過してからメッセージ受信可能とする機能。メッセージ単体に設定する。遅延キューとこれを一緒に設定していても、メッセージタイマーが優先される。（６）メッセージタイマープロデューサーコンシューマーメッセージタイマー 10秒と設定。このメッセージのみ 10秒間はおあずけ状態

Slide 28

Slide 28 text

2021/5/26現在の設定画面（６）メッセージタイマー

Slide 29

Slide 29 text

AWS CLIの場合 sqs send-message コマンドのオプション --delay-seconds (秒数) で設定（６）メッセージタイマー

Slide 30

Slide 30 text

正しく処理できないメッセージをキュー内に残し続けないよう、他のキューに移動させる機能。（７）デッドレターキュープロデューサーコンシューマー最大受信数を超えたら、デッドレターキューに移動

Slide 31

Slide 31 text

キュー設定画面にて、最大受信数（maxRecieveCount）を設定。（７）デッドレターキュー

Slide 32

Slide 32 text

３．SQSの実践的ハンズオンをやってみた

Slide 33

Slide 33 text

SQSの実践的チュートリアルよりファンアウトイベントの送信をやってみました。 ※実践的チュートリアル：ファンアウトイベント通知を送信する https://aws.amazon.com/jp/getting-started/hands-on/send-fanout-event-notifications/

Slide 34

Slide 34 text

メッセージの並行受信を可能にするキュー設計ある処理をトリガにして、並行してLambda関数を実行させるといった要件の場合に設計する。ファンアウト構成 Amazon Simple Notification Service (Amazon SNS) AWS Lambda

Slide 35

Slide 35 text

※属性はすべてデフォルトで設定。標準キューを２つ作成

Slide 36

Slide 36 text

キューを２つ作成後、SNSトピックにサブスクライブ設定。 SNSトピックにサブスクライブ

Slide 37

Slide 37 text

サブスクライブ先のSNSトピックを選択

Slide 38

Slide 38 text

サブスクライブ完了

Slide 39

Slide 39 text

サブスクライブ完了

Slide 40

Slide 40 text

SNSからメッセージ送信

Slide 41

Slide 41 text

作成した2つのキーにメッセージが送信された。

Slide 42

Slide 42 text

４．最後に

Slide 43

Slide 43 text

・Amazon SQSはフルマネージド型のメッセージキューイングサービスであり、システム連携を疎結合にすることが可能であること。・可視性タイムアウトやメッセージタイマーなど、メッセージ取得制限をすることが可能であり、マネコンとAWS CLIで設定方法。・SNSと組み合わせたファンアウト設計で並列処理可能であること。話したこと

Slide 44

Slide 44 text

ポケットスタディ AWS認定デベロッパーアソシエイト https://www.shuwasystem.co.jp/book/9784798063409.html AWS認定資格試験テキスト AWS認定ソリューションアーキテクトアソシエイト（初版の方） https://www.sbcr.jp/product/4815607388/ AWS開発者ガイド https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuid e/welcome.html AWS CLI Command Reference https://docs.aws.amazon.com/cli/latest/reference/sqs/ 参考文献

Slide 45

Slide 45 text

No content