Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon SQSを勉強しなおしてみた
Search
amarelo_n24
May 29, 2021
Technology
0
1.2k
Amazon SQSを勉強しなおしてみた
2021/5/27 JAWS-UG朝会 #21 登壇資料
amarelo_n24
May 29, 2021
Tweet
Share
More Decks by amarelo_n24
See All by amarelo_n24
今年のふりかえりと来年目指すこと
amarelo_n24
0
670
ANS-C01を2回不合格になり認定試験受験に対する想い
amarelo_n24
0
740
鈍行列車の旅をやってみた話2023
amarelo_n24
0
110
DHCPオプションセットって何だろう??
amarelo_n24
2
5k
「UNIXという考え方」を読んでどう生きるか考えてみた
amarelo_n24
0
550
AWS認定、オンラインで受けるか?オフラインで受けるか?
amarelo_n24
0
460
Twitter Botを作ってカスタマイズとトラブルシュートをした話
amarelo_n24
1
560
情報量の単位についておさらいしよう
amarelo_n24
0
510
DynamoDBテーブルにAWSCLIでアイテムを一括登録する方法
amarelo_n24
0
710
Other Decks in Technology
See All in Technology
Storage Browser for Amazon S3を触ってみた + α
miura55
0
110
10年もののバグを退治した話
n_seki
0
150
#TRG24 / David Cuartielles / Post Open Source
tarugoconf
0
500
When Windows Meets Kubernetes…
pichuang
0
270
普通のエンジニアがLaravelコアチームメンバーになるまで
avosalmon
0
690
Azureの開発で辛いところ
re3turn
0
220
12 Days of OpenAIから読み解く、生成AI 2025年のトレンド
shunsukeono_am
0
1.1k
20240513 - 框裡框外_文學院學生如何在AI世代安身立命 @ 淡江大學
dpys
0
640
20241125 - AI 繪圖實戰魔法工作坊 @ 實踐大學
dpys
1
450
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
12k
🌏丸い地球を効率的に平たくする 〜🗺️地図の幾何学とWeb地図技術〜
syotasasaki593876
0
120
comilioとCloudflare、そして未来へと向けて
oliver_diary
5
380
Featured
See All Featured
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
28
2.2k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
365
25k
The Pragmatic Product Professional
lauravandoore
32
6.4k
How to Ace a Technical Interview
jacobian
276
23k
Speed Design
sergeychernyshev
25
730
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
26
1.9k
Building Applications with DynamoDB
mza
92
6.1k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
3
340
GitHub's CSS Performance
jonrohan
1030
460k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
98
18k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
Amazon SQSを勉強しなおしてみた 2021/5/27 JAWS-UG朝会 #21
1.はじめに 2.Amazon SQSの概要と各種設定 3.SQSの実践チュートリアルをやってみた 4.まとめ 話すこと
1.はじめに
自己紹介 氏名 :藤田 直幸 twitter:@amarelo_n24 ※ コーヒー焙煎人兼エンジニアと名乗ってます。 職場:都内にある企業の情報セキュリティ統制担当 資格:AWS認定クラウドプラクティショナー ソリューションアーキテクトアソシエイト
※現在、デベロッパーアソシエイトの勉強中 好きなAWSサービス:AWS CLI、AWS CloudShell、Cloud9 好きなコーヒー :ブラジル ブルボンアマレロ
AWSの実務経験はおろか、開発経験もロクにないくせに、 来月デベロッパーアソシエイトを受験しようとしていま す!!(申し込みはこれから) メッセージングサービスへの理解がまだまだ乏しかったた め、ちゃんと理解したい!と思い、SQSの勉強をして登壇 もしようと思いました! ※他のサービスも「完全に理解」していません・・・
様々な参考文献を読んで資料を作りましたが、 間違いなどあったらご指摘お願いします🙇
2.Amazon SQSの概要と各種設定
・フルマネージド型のメッセージキューイングサービス ・AWSサービスの中で最古のサービス(2004年サービスイン) ・マイクロサービス、分散システム、およびサーバーレスアプリ ケーションの切り離しとスケーリングが可能 ・AWS KMS(Key Management Service)と連携して、サーバ側 の暗号化することが可能 ・メッセージの最大容量は256KB
(1)Amazon SQSとは?
SNS(Amazon Simple Notification Service)との違い ・SNSはプッシュ型通信 SNS側がメッセージを発行してくる。 (1)Amazon SQSとは? コンシューマー Amazon
Simple Notification Service (Amazon SNS)
SNS(Amazon Simple Notification Service)との違い ・SQSはプル型通信 コンシューマーがキューにポーリングして、メッセージが キューの中にあれば取得できる。 (1)Amazon SQSとは? コンシューマー
Amazon Simple Queue Service (Amazon SQS)
①標準キュー ・1秒あたりのトランザクション数はほぼ無制限。 ・少なくとも1回のメッセージ配信を保証。 ・同一メッセージが2回配信される可能性がある。 ・メッセージの配信順序を保証していない。 ※ほぼ無制限のスループットを可能にする高度に分散 されたアーキテクトのため。 (2)キュータイプ
重複実行しない設計 ・一度メッセージを受信して処理を実行したことを DynamoDBに記録する。 冪等性を確保するアプリケーション設計 ・同じメッセージを受信して処理を実行したとしても、 結果がまったく変わらないようにする。 ※標準キューが2回以上配信された場合の設計
②FIFO(First-in-first-out)キュー ・メッセージの配信順序を保証する。 ⇒操作とイベントの順序が重要な場合、メッセージの重複が 許容されない場合に使用する。 ・メッセージ重複排除IDを使って重複を防ぐ設計がされている。 ・1秒あたりのトランザクション数 バッチ処理なし:300件 バッチ処理あり:3000件 (2)キュータイプ
AWS CLIでFIFOキューを作成する場合 sqs create-queue コマンドのオプション --attributes FifoQueue=true を指定することで設定可能。 (2)キュータイプ
マネコンからも、FIFOキューで作成されたこと確認。 (2)キュータイプ
①ショートポーリング ・デフォルトのポーリング設定 ・メッセージの有無に関わらず即レスする。 ・分散されたメッセージからサンプリングされたサーバの メッセージを応答するため、メッセージ取得できないことも。 ・APIの呼び出し回数が多くコストが高くなる。 (3)ポーリング
②ロングポーリング ・メッセージがない場合は設定されたタイムアウト値が 過ぎるまで、レスポンスしない。 ・すべてのサーバをクエリし、メッセージを応答する。 ・複数のキューをポーリングする必要がない場合に選択する。 ※通常はこちらを使うことが多い。 (3)ポーリング
2021/5/26現在の設定画面 ロングポーリング設定 (3)ポーリング
AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes ReceiveMessageWaitTimeSeconds=(秒数)で設定 (3)ポーリング
コンシューマーがメッセージを受け取った直後、他のコンシューマ ーがメッセージを再度処理するのを防ぐために設定するタイムアウ ト値。 デフォルト:30秒 最大値 :12時間 最小値 :0秒 (4)可視性タイムアウト(Visibility Timeout)
コンシューマーがメッセージを受信しても、キューから自動的に削 除されない。可視性タイムアウトを設定していないと、他のコンシ ューマーがメッセージを受信できてしまい、重複処理が起こる恐れ がある。 (4)可視性タイムアウト(Visibility Timeout) 可視性タイムアウトを 1分と設定した場合は、 その間メッセージの受 信をできない。
2021/5/26現在の設定画面 (4)可視性タイムアウト(Visibility Timeout)
AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes VisibilityTimeout=(秒数)で設定 (4)可視性タイムアウト(Visibility Timeout)
メッセージをキューに送信してから、一定時間後にメッセージを受 信できるようにする機能。キュー全体に設定をする。 メッセージの処理を一定時間を遅延させて実行させたい場合に利用。 (5)遅延キュー プロデューサー 10秒前のコンシューマー 10秒後のコンシューマー 遅延キュー10秒と設定。
2021/5/26現在の設定画面 (5)遅延キュー
AWS CLIの場合 sqs set-queue-attributes コマンドのオプション --attributes DelaySeconds=(秒数) で設定 (5)遅延キュー
メッセージ送信後、一定時間経過してからメッセージ受信可能とす る機能。メッセージ単体に設定する。遅延キューとこれを一緒に設 定していても、メッセージタイマーが優先される。 (6)メッセージタイマー プロデューサー コンシューマー メッセージタイマー 10秒と設定。 このメッセージのみ 10秒間はおあずけ状態
2021/5/26現在の設定画面 (6)メッセージタイマー
AWS CLIの場合 sqs send-message コマンドのオプション --delay-seconds (秒数) で設定 (6)メッセージタイマー
正しく処理できないメッセージをキュー内に残し続けないよう、 他のキューに移動させる機能。 (7)デッドレターキュー プロデューサー コンシューマー 最大受信数を超えたら、デ ッドレターキューに移動
キュー設定画面にて、最大受信数(maxRecieveCount)を設定。 (7)デッドレターキュー
3.SQSの実践的ハンズオンをやってみた
SQSの実践的チュートリアルより ファンアウトイベントの送信をやってみました。 ※実践的チュートリアル:ファンアウトイベント通知を送信する https://aws.amazon.com/jp/getting-started/hands-on/send-fanout-event-notifications/
メッセージの並行受信を可能にするキュー設計 ある処理をトリガにして、並行してLambda関数を実行させる といった要件の場合に設計する。 ファンアウト構成 Amazon Simple Notification Service (Amazon SNS)
AWS Lambda
※属性はすべてデフォルトで設定。 標準キューを2つ作成
キューを2つ作成後、SNSトピックにサブスクライブ設定。 SNSトピックにサブスクライブ
サブスクライブ先のSNSトピックを選択
サブスクライブ完了
サブスクライブ完了
SNSからメッセージ送信
作成した2つのキーにメッセージが送信された。
4.最後に
・Amazon SQSはフルマネージド型のメッセージキューイング サービスであり、システム連携を疎結合にすることが可能で あること。 ・可視性タイムアウトやメッセージタイマーなど、メッセージ 取得制限をすることが可能であり、マネコンとAWS CLIで 設定方法。 ・SNSと組み合わせたファンアウト設計で並列処理可能で あること。
話したこと
ポケットスタディ AWS認定デベロッパーアソシエイト https://www.shuwasystem.co.jp/book/9784798063409.html AWS認定資格試験テキスト AWS認定ソリューションアーキテクトアソシエイト(初版の方) https://www.sbcr.jp/product/4815607388/ AWS開発者ガイド https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuid e/welcome.html AWS
CLI Command Reference https://docs.aws.amazon.com/cli/latest/reference/sqs/ 参考文献
None