MQ（メッセージキュー）入門

by HIRA

Slide 1

Slide 1 text

MQ（メッセージキュー）入門平田憲司 2019.6.25 クラウド・マイクロサービス勉強会（第2回）

Slide 2

Slide 2 text

自己紹介平田憲司主な担当：アーキテクチャ設計、基盤構築 https://qiita.com/kj_hira Qiita クラウド・マイクロサービス勉強（第二回）

Slide 3

Slide 3 text

アジェンダ 1. MQとは？ 2. MQの特徴 3. MQミドルウェア 4. 事例紹介 5. 困ったことクラウド・マイクロサービス勉強（第二回）

Slide 4

Slide 4 text

1.MQとは？ 2. MQの特徴 3. MQミドルウェア 4. 事例紹介 5. 困ったことクラウド・マイクロサービス勉強（第二回）

Slide 5

Slide 5 text

MQとは？メッセージキュー。非同期型通信プロトコル。システム間でメッセージのやりとりを行う際に利用する。主に、マイクロサービスアーキテクチャや分散処理システムの非同期通信において利用される。とても歴史のある技術。クラウド・マイクロサービス勉強（第二回）

Slide 6

Slide 6 text

メッセージキューを使わない場合の例 MQとは？ Aさんは、Bさんに直接仕事を依頼する。 Bさんが忙しいときは、Aさんは待っていないといけない。 Aさん Bさんクラウド・マイクロサービス勉強（第二回）

Slide 7

Slide 7 text

メッセージキューを使った場合の例 MQとは？ Aさんは、机に仕事の依頼物を置いておく。Bさんは都合の良いタイミングで机から依頼物を受け取る。 Bさんが忙しいときでも、Aさんは待つ必要が無い。 Aさん Bさん机クラウド・マイクロサービス勉強（第二回）

Slide 8

Slide 8 text

MQのメリット① 柔軟に非同期連携できる受信側が送信側の都合に合わせなくて良い。送信側は好きなタイミングで好きな量を送り、受信側は好きなタイミングで好きな量を受信できる。送信側受信側 MQ クラウド・マイクロサービス勉強（第二回）

Slide 9

Slide 9 text

MQのメリット② 障害に強い受信側のシステムが停止しても、送信側に影響しない。送信側はキューに送信し続けられる。クラウドとオンプレのネットワーク障害の際に役立つ。（注意：送信側の環境にMQを用意する必要がある）送信側受信側 MQ クラウド・マイクロサービス勉強（第二回）

Slide 10

Slide 10 text

MQのメリット③ システム間の依存関係を排除できる非同期連携することができるため、送信側と受信側の依存関係を排除できる。マイクロサービス化で必要となるシステム間の疎結合化が実現できる。送信側受信側 MQ クラウド・マイクロサービス勉強（第二回）

Slide 11

Slide 11 text

1. MQとは？ 2.MQの特徴 3. MQミドルウェア 4. 事例紹介 5. 困ったことクラウド・マイクロサービス勉強（第二回）

Slide 12

Slide 12 text

MQの特徴 • Pub/Subメッセージ • FIFO • 遅延キュー • 優先順位 • ロック • DLQ(デッドレターキュー）クラウド・マイクロサービス勉強（第二回）

Slide 13

Slide 13 text

MQの特徴 Pub/Subメッセージ１つのメッセージを複数の受け手に送信でき、かつ並列に処理させられる。ファンアウト設計パターンを適用できる。参考：Fanoutパターン http://aws.clouddesignpattern.org/index.php/CDP:Fanout%E3%83%91%E3%82%BF%E3%83 %BC%E3%83%B3 サムネイル生成メタデータスキャン画像認識トピック MQ MQ MQ 送信側 publisher subscriber クラウド・マイクロサービス勉強（第二回）

Slide 14

Slide 14 text

MQ MQの特徴 FIFO(First In First Out) MQの設定で送信した順で受信されるようにできる。デフォルトでは、順不同であることが多い。送信側受信側５４３２１クラウド・マイクロサービス勉強（第二回）

Slide 15

Slide 15 text

MQの特徴遅延キューメッセージの配信を指定の時間分遅らせることができる。例えば、送信元の処理が完了した頃に実行してほしい場合などに利用クラウド・マイクロサービス勉強（第二回）

Slide 16

Slide 16 text

MQの特徴優先順位キューに対し、優先度を設定できる。例えば、一般ユーザーよりプレミアム(有料会員)ユーザーの処理を優先させたい場合などに活用できる４２１５３一般会員有料会員クラウド・マイクロサービス勉強（第二回）

Slide 17

Slide 17 text

MQの特徴メッセージのロック受信したメッセージが処理されている間、他からメッセージを同時に処理されることを防ぐためロックすることができる。受信側A 受信側B クラウド・マイクロサービス勉強（第二回）

Slide 18

Slide 18 text

MQの特徴 DLQ(デッドレターキュー）規定回数受信に失敗した場合、メッセージを退避させる。受信側 DLQ 退避したキューはリトライ処理によって後で処理する。クラウド・マイクロサービス勉強（第二回）

Slide 19

Slide 19 text

1. MQとは？ 2. MQの特徴 3.MQミドルウェア 4. 事例紹介 5. 困ったことクラウド・マイクロサービス勉強（第二回）

Slide 20

Slide 20 text

代表的なMQミドルウェア • ActiveMQ (Apache) • RabbitMQ (Pvotal) • Amazon SQS (AWS) などその他、多くのミドルウェアがある。クラウド・マイクロサービス勉強（第二回）

Slide 21

Slide 21 text

1. MQとは？ 2. MQの特徴 3. MQミドルウェア 4.事例紹介 5. 困ったことクラウド・マイクロサービス勉強（第二回）

Slide 22

Slide 22 text

オンプレ事例紹介① - クラウドとオンプレのデータ連携連携元 MQ クラウド連携先 ETL クラウド・マイクロサービス勉強（第二回）

Slide 23

Slide 23 text

事例紹介② - 画像OCR変換API API（受付) OCR処理 MQ ストレージ DB 画像クラウド・マイクロサービス勉強（第二回）

Slide 24

Slide 24 text

API Gateway Lambda SQS API Gateway Lambda 変換リクエスト結果リクエスト S3 EC2 画像 CSV DynamoDB 履歴情報変換結果非同期ポーリングキュー情報ストレージ事例紹介② - 画像OCR変換API （AWSアーキテクチャ例）クラウド・マイクロサービス勉強（第二回）

Slide 25

Slide 25 text

1. MQとは？ 2. MQの特徴 3. MQミドルウェア 4. 事例紹介 5.困ったことクラウド・マイクロサービス勉強（第二回）

Slide 26

Slide 26 text

困ったこと順序保証が必要なケース DLQに入ったデータと同じ更新対象のデータが処理されるような場合。後続データが先に処理されてしまい、失敗したデータをリトライしてしまうと巻き戻ることに。対応方法としては、タイムスタンプ（更新日時）も合わせて持たせ、更新対象のデータと比較して処理するか判定させた。クラウド・マイクロサービス勉強（第二回）

Slide 27

Slide 27 text

困ったこと並列処理の完了を監視する必要があるケース各処理が完了したかDBなどでステータス管理する必要がある。処理A 処理C 処理B MQ MQ MQ 他に良い方法があればぜひ教えてくださいクラウド・マイクロサービス勉強（第二回）

Slide 28

Slide 28 text

まとめ • システム間で非同期連携する際に有効な通信方式の１つ • システム間の依存関係を排除でき障害にも強く、マイクロサービス化において必要な技術クラウド・マイクロサービス勉強（第二回）