Amazon SQSを勉強しなおしてみた

Amazon SQSを勉強しなおしてみた 2021/5/27 JAWS-UG朝会 #21

１．はじめに２．Amazon SQSの概要と各種設定３．SQSの実践チュートリアルをやってみた４．まとめ話すこと

１．はじめに

自己紹介氏名：藤田直幸 twitter：@amarelo_n24 ※ コーヒー焙煎人兼エンジニアと名乗ってます。職場：都内にある企業の情報セキュリティ統制担当資格：AWS認定クラウドプラクティショナーソリューションアーキテクトアソシエイト
※現在、デベロッパーアソシエイトの勉強中好きなAWSサービス：AWS CLI、AWS CloudShell、Cloud9 好きなコーヒー：ブラジルブルボンアマレロ

AWSの実務経験はおろか、開発経験もロクにないくせに、来月デベロッパーアソシエイトを受験しようとしています！！（申し込みはこれから）メッセージングサービスへの理解がまだまだ乏しかったため、ちゃんと理解したい！と思い、SQSの勉強をして登壇もしようと思いました！ ※他のサービスも「完全に理解」していません・・・

様々な参考文献を読んで資料を作りましたが、間違いなどあったらご指摘お願いします🙇

２．Amazon SQSの概要と各種設定

・フルマネージド型のメッセージキューイングサービス・AWSサービスの中で最古のサービス（2004年サービスイン）・マイクロサービス、分散システム、およびサーバーレスアプリケーションの切り離しとスケーリングが可能・AWS KMS（Key Management Service）と連携して、サーバ側の暗号化することが可能・メッセージの最大容量は256KB
（１）Amazon SQSとは？

SNS（Amazon Simple Notification Service）との違い・SNSはプッシュ型通信 SNS側がメッセージを発行してくる。（１）Amazon SQSとは？コンシューマー Amazon
Simple Notification Service (Amazon SNS)

SNS（Amazon Simple Notification Service）との違い・SQSはプル型通信コンシューマーがキューにポーリングして、メッセージがキューの中にあれば取得できる。（１）Amazon SQSとは？コンシューマー
Amazon Simple Queue Service (Amazon SQS)

①標準キュー・1秒あたりのトランザクション数はほぼ無制限。・少なくとも1回のメッセージ配信を保証。・同一メッセージが2回配信される可能性がある。・メッセージの配信順序を保証していない。 ※ほぼ無制限のスループットを可能にする高度に分散されたアーキテクトのため。（２）キュータイプ

重複実行しない設計・一度メッセージを受信して処理を実行したことを DynamoDBに記録する。冪等性を確保するアプリケーション設計・同じメッセージを受信して処理を実行したとしても、結果がまったく変わらないようにする。 ※標準キューが2回以上配信された場合の設計

②FIFO（First-in-first-out）キュー・メッセージの配信順序を保証する。 ⇒操作とイベントの順序が重要な場合、メッセージの重複が許容されない場合に使用する。・メッセージ重複排除IDを使って重複を防ぐ設計がされている。・1秒あたりのトランザクション数バッチ処理なし：300件バッチ処理あり：3000件（２）キュータイプ

AWS CLIでFIFOキューを作成する場合 sqs create-queue コマンドのオプション --attributes FifoQueue=true を指定することで設定可能。（２）キュータイプ

マネコンからも、FIFOキューで作成されたこと確認。（２）キュータイプ

①ショートポーリング・デフォルトのポーリング設定・メッセージの有無に関わらず即レスする。・分散されたメッセージからサンプリングされたサーバのメッセージを応答するため、メッセージ取得できないことも。・APIの呼び出し回数が多くコストが高くなる。（３）ポーリング

②ロングポーリング・メッセージがない場合は設定されたタイムアウト値が過ぎるまで、レスポンスしない。・すべてのサーバをクエリし、メッセージを応答する。・複数のキューをポーリングする必要がない場合に選択する。 ※通常はこちらを使うことが多い。（３）ポーリング

2021/5/26現在の設定画面ロングポーリング設定（３）ポーリング

AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes ReceiveMessageWaitTimeSeconds=（秒数）で設定（３）ポーリング

コンシューマーがメッセージを受け取った直後、他のコンシューマーがメッセージを再度処理するのを防ぐために設定するタイムアウト値。デフォルト：30秒最大値：12時間最小値：0秒（４）可視性タイムアウト（Visibility Timeout）

コンシューマーがメッセージを受信しても、キューから自動的に削除されない。可視性タイムアウトを設定していないと、他のコンシューマーがメッセージを受信できてしまい、重複処理が起こる恐れがある。（４）可視性タイムアウト（Visibility Timeout）可視性タイムアウトを 1分と設定した場合は、その間メッセージの受信をできない。

2021/5/26現在の設定画面（４）可視性タイムアウト（Visibility Timeout）

AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes VisibilityTimeout=（秒数）で設定（４）可視性タイムアウト（Visibility Timeout）

メッセージをキューに送信してから、一定時間後にメッセージを受信できるようにする機能。キュー全体に設定をする。メッセージの処理を一定時間を遅延させて実行させたい場合に利用。（５）遅延キュープロデューサー 10秒前のコンシューマー 10秒後のコンシューマー遅延キュー10秒と設定。

2021/5/26現在の設定画面（５）遅延キュー

AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes DelaySeconds=（秒数）で設定（５）遅延キュー

メッセージ送信後、一定時間経過してからメッセージ受信可能とする機能。メッセージ単体に設定する。遅延キューとこれを一緒に設定していても、メッセージタイマーが優先される。（６）メッセージタイマープロデューサーコンシューマーメッセージタイマー 10秒と設定。このメッセージのみ 10秒間はおあずけ状態

2021/5/26現在の設定画面（６）メッセージタイマー

AWS CLIの場合 sqs send-message コマンドのオプション --delay-seconds (秒数) で設定（６）メッセージタイマー

正しく処理できないメッセージをキュー内に残し続けないよう、他のキューに移動させる機能。（７）デッドレターキュープロデューサーコンシューマー最大受信数を超えたら、デッドレターキューに移動

キュー設定画面にて、最大受信数（maxRecieveCount）を設定。（７）デッドレターキュー

３．SQSの実践的ハンズオンをやってみた

SQSの実践的チュートリアルよりファンアウトイベントの送信をやってみました。 ※実践的チュートリアル：ファンアウトイベント通知を送信する https://aws.amazon.com/jp/getting-started/hands-on/send-fanout-event-notifications/

メッセージの並行受信を可能にするキュー設計ある処理をトリガにして、並行してLambda関数を実行させるといった要件の場合に設計する。ファンアウト構成 Amazon Simple Notification Service (Amazon SNS)
AWS Lambda

※属性はすべてデフォルトで設定。標準キューを２つ作成

キューを２つ作成後、SNSトピックにサブスクライブ設定。 SNSトピックにサブスクライブ

サブスクライブ先のSNSトピックを選択

サブスクライブ完了

SNSからメッセージ送信

作成した2つのキーにメッセージが送信された。

４．最後に

・Amazon SQSはフルマネージド型のメッセージキューイングサービスであり、システム連携を疎結合にすることが可能であること。・可視性タイムアウトやメッセージタイマーなど、メッセージ取得制限をすることが可能であり、マネコンとAWS CLIで設定方法。・SNSと組み合わせたファンアウト設計で並列処理可能であること。
話したこと

ポケットスタディ AWS認定デベロッパーアソシエイト https://www.shuwasystem.co.jp/book/9784798063409.html AWS認定資格試験テキスト AWS認定ソリューションアーキテクトアソシエイト（初版の方） https://www.sbcr.jp/product/4815607388/ AWS開発者ガイド https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuid e/welcome.html AWS
CLI Command Reference https://docs.aws.amazon.com/cli/latest/reference/sqs/ 参考文献

Amazon SQSを勉強しなおしてみた

Amazon SQSを勉強しなおしてみた

amarelo_n24

More Decks by amarelo_n24

Other Decks in Technology

Featured

Transcript