Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon SQSを勉強しなおしてみた
Search
amarelo_n24
May 29, 2021
Technology
0
1.2k
Amazon SQSを勉強しなおしてみた
2021/5/27 JAWS-UG朝会 #21 登壇資料
amarelo_n24
May 29, 2021
Tweet
Share
More Decks by amarelo_n24
See All by amarelo_n24
今年のふりかえりと来年目指すこと
amarelo_n24
0
670
ANS-C01を2回不合格になり認定試験受験に対する想い
amarelo_n24
0
760
鈍行列車の旅をやってみた話2023
amarelo_n24
0
110
DHCPオプションセットって何だろう??
amarelo_n24
2
5.3k
「UNIXという考え方」を読んでどう生きるか考えてみた
amarelo_n24
0
560
AWS認定、オンラインで受けるか?オフラインで受けるか?
amarelo_n24
0
470
Twitter Botを作ってカスタマイズとトラブルシュートをした話
amarelo_n24
1
570
情報量の単位についておさらいしよう
amarelo_n24
0
580
DynamoDBテーブルにAWSCLIでアイテムを一括登録する方法
amarelo_n24
0
730
Other Decks in Technology
See All in Technology
事業継続を支える自動テストの考え方
tsuemura
0
300
Data-centric AI入門第6章:Data-centric AIの実践例
x_ttyszk
1
370
トラシューアニマルになろう ~開発者だからこそできる、安定したサービス作りの秘訣~
jacopen
2
1.5k
FastConnect の冗長性
ocise
1
9.6k
技術負債の「予兆検知」と「状況異変」のススメ / Technology Dept
i35_267
1
1k
モノレポ開発のエラー、誰が見る?Datadog で実現する適切なトリアージとエスカレーション
biwashi
6
770
日経電子版 x AIエージェントの可能性とAgentic RAGによって提案書生成を行う技術
masahiro_nishimi
1
290
飲食店予約台帳を支えるインタラクティブ UI 設計と実装
siropaca
6
1.4k
エンジニアのためのドキュメント力基礎講座〜構造化思考から始めよう〜(2025/02/15jbug広島#15発表資料)
yasuoyasuo
15
5.5k
急成長する企業で作った、エンジニアが輝ける制度/ 20250214 Rinto Ikenoue
shift_evolve
2
880
ハッキングの世界に迫る~攻撃者の思考で考えるセキュリティ~
nomizone
12
4.5k
生成AIの利活用を加速させるための取り組み「prAIrie-dog」/ Shibuya_AI_1
visional_engineering_and_design
1
140
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Adopting Sorbet at Scale
ufuk
74
9.2k
Practical Orchestrator
shlominoach
186
10k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.2k
KATA
mclloyd
29
14k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Typedesign – Prime Four
hannesfritz
40
2.5k
Building Adaptive Systems
keathley
40
2.4k
Building Applications with DynamoDB
mza
93
6.2k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Transcript
Amazon SQSを勉強しなおしてみた 2021/5/27 JAWS-UG朝会 #21
1.はじめに 2.Amazon SQSの概要と各種設定 3.SQSの実践チュートリアルをやってみた 4.まとめ 話すこと
1.はじめに
自己紹介 氏名 :藤田 直幸 twitter:@amarelo_n24 ※ コーヒー焙煎人兼エンジニアと名乗ってます。 職場:都内にある企業の情報セキュリティ統制担当 資格:AWS認定クラウドプラクティショナー ソリューションアーキテクトアソシエイト
※現在、デベロッパーアソシエイトの勉強中 好きなAWSサービス:AWS CLI、AWS CloudShell、Cloud9 好きなコーヒー :ブラジル ブルボンアマレロ
AWSの実務経験はおろか、開発経験もロクにないくせに、 来月デベロッパーアソシエイトを受験しようとしていま す!!(申し込みはこれから) メッセージングサービスへの理解がまだまだ乏しかったた め、ちゃんと理解したい!と思い、SQSの勉強をして登壇 もしようと思いました! ※他のサービスも「完全に理解」していません・・・
様々な参考文献を読んで資料を作りましたが、 間違いなどあったらご指摘お願いします🙇
2.Amazon SQSの概要と各種設定
・フルマネージド型のメッセージキューイングサービス ・AWSサービスの中で最古のサービス(2004年サービスイン) ・マイクロサービス、分散システム、およびサーバーレスアプリ ケーションの切り離しとスケーリングが可能 ・AWS KMS(Key Management Service)と連携して、サーバ側 の暗号化することが可能 ・メッセージの最大容量は256KB
(1)Amazon SQSとは?
SNS(Amazon Simple Notification Service)との違い ・SNSはプッシュ型通信 SNS側がメッセージを発行してくる。 (1)Amazon SQSとは? コンシューマー Amazon
Simple Notification Service (Amazon SNS)
SNS(Amazon Simple Notification Service)との違い ・SQSはプル型通信 コンシューマーがキューにポーリングして、メッセージが キューの中にあれば取得できる。 (1)Amazon SQSとは? コンシューマー
Amazon Simple Queue Service (Amazon SQS)
①標準キュー ・1秒あたりのトランザクション数はほぼ無制限。 ・少なくとも1回のメッセージ配信を保証。 ・同一メッセージが2回配信される可能性がある。 ・メッセージの配信順序を保証していない。 ※ほぼ無制限のスループットを可能にする高度に分散 されたアーキテクトのため。 (2)キュータイプ
重複実行しない設計 ・一度メッセージを受信して処理を実行したことを DynamoDBに記録する。 冪等性を確保するアプリケーション設計 ・同じメッセージを受信して処理を実行したとしても、 結果がまったく変わらないようにする。 ※標準キューが2回以上配信された場合の設計
②FIFO(First-in-first-out)キュー ・メッセージの配信順序を保証する。 ⇒操作とイベントの順序が重要な場合、メッセージの重複が 許容されない場合に使用する。 ・メッセージ重複排除IDを使って重複を防ぐ設計がされている。 ・1秒あたりのトランザクション数 バッチ処理なし:300件 バッチ処理あり:3000件 (2)キュータイプ
AWS CLIでFIFOキューを作成する場合 sqs create-queue コマンドのオプション --attributes FifoQueue=true を指定することで設定可能。 (2)キュータイプ
マネコンからも、FIFOキューで作成されたこと確認。 (2)キュータイプ
①ショートポーリング ・デフォルトのポーリング設定 ・メッセージの有無に関わらず即レスする。 ・分散されたメッセージからサンプリングされたサーバの メッセージを応答するため、メッセージ取得できないことも。 ・APIの呼び出し回数が多くコストが高くなる。 (3)ポーリング
②ロングポーリング ・メッセージがない場合は設定されたタイムアウト値が 過ぎるまで、レスポンスしない。 ・すべてのサーバをクエリし、メッセージを応答する。 ・複数のキューをポーリングする必要がない場合に選択する。 ※通常はこちらを使うことが多い。 (3)ポーリング
2021/5/26現在の設定画面 ロングポーリング設定 (3)ポーリング
AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes ReceiveMessageWaitTimeSeconds=(秒数)で設定 (3)ポーリング
コンシューマーがメッセージを受け取った直後、他のコンシューマ ーがメッセージを再度処理するのを防ぐために設定するタイムアウ ト値。 デフォルト:30秒 最大値 :12時間 最小値 :0秒 (4)可視性タイムアウト(Visibility Timeout)
コンシューマーがメッセージを受信しても、キューから自動的に削 除されない。可視性タイムアウトを設定していないと、他のコンシ ューマーがメッセージを受信できてしまい、重複処理が起こる恐れ がある。 (4)可視性タイムアウト(Visibility Timeout) 可視性タイムアウトを 1分と設定した場合は、 その間メッセージの受 信をできない。
2021/5/26現在の設定画面 (4)可視性タイムアウト(Visibility Timeout)
AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes VisibilityTimeout=(秒数)で設定 (4)可視性タイムアウト(Visibility Timeout)
メッセージをキューに送信してから、一定時間後にメッセージを受 信できるようにする機能。キュー全体に設定をする。 メッセージの処理を一定時間を遅延させて実行させたい場合に利用。 (5)遅延キュー プロデューサー 10秒前のコンシューマー 10秒後のコンシューマー 遅延キュー10秒と設定。
2021/5/26現在の設定画面 (5)遅延キュー
AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes DelaySeconds=(秒数) で設定 (5)遅延キュー
メッセージ送信後、一定時間経過してからメッセージ受信可能とす る機能。メッセージ単体に設定する。遅延キューとこれを一緒に設 定していても、メッセージタイマーが優先される。 (6)メッセージタイマー プロデューサー コンシューマー メッセージタイマー 10秒と設定。 このメッセージのみ 10秒間はおあずけ状態
2021/5/26現在の設定画面 (6)メッセージタイマー
AWS CLIの場合 sqs send-message コマンドのオプション --delay-seconds (秒数) で設定 (6)メッセージタイマー
正しく処理できないメッセージをキュー内に残し続けないよう、 他のキューに移動させる機能。 (7)デッドレターキュー プロデューサー コンシューマー 最大受信数を超えたら、デ ッドレターキューに移動
キュー設定画面にて、最大受信数(maxRecieveCount)を設定。 (7)デッドレターキュー
3.SQSの実践的ハンズオンをやってみた
SQSの実践的チュートリアルより ファンアウトイベントの送信をやってみました。 ※実践的チュートリアル:ファンアウトイベント通知を送信する https://aws.amazon.com/jp/getting-started/hands-on/send-fanout-event-notifications/
メッセージの並行受信を可能にするキュー設計 ある処理をトリガにして、並行してLambda関数を実行させる といった要件の場合に設計する。 ファンアウト構成 Amazon Simple Notification Service (Amazon SNS)
AWS Lambda
※属性はすべてデフォルトで設定。 標準キューを2つ作成
キューを2つ作成後、SNSトピックにサブスクライブ設定。 SNSトピックにサブスクライブ
サブスクライブ先のSNSトピックを選択
サブスクライブ完了
サブスクライブ完了
SNSからメッセージ送信
作成した2つのキーにメッセージが送信された。
4.最後に
・Amazon SQSはフルマネージド型のメッセージキューイング サービスであり、システム連携を疎結合にすることが可能で あること。 ・可視性タイムアウトやメッセージタイマーなど、メッセージ 取得制限をすることが可能であり、マネコンとAWS CLIで 設定方法。 ・SNSと組み合わせたファンアウト設計で並列処理可能で あること。
話したこと
ポケットスタディ AWS認定デベロッパーアソシエイト https://www.shuwasystem.co.jp/book/9784798063409.html AWS認定資格試験テキスト AWS認定ソリューションアーキテクトアソシエイト(初版の方) https://www.sbcr.jp/product/4815607388/ AWS開発者ガイド https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuid e/welcome.html AWS
CLI Command Reference https://docs.aws.amazon.com/cli/latest/reference/sqs/ 参考文献
None