Rails on AWSでの非同期

Slide 1

Slide 1 text

Shinjuku.rb #37 Theme : ⾮同期処理タケユー・ウェブ⽵内雄⼀

Slide 2

Slide 2 text

⽵内雄⼀ @takeyuweb フリーランスWeb開発者 • 1984年限界集落⽣まれ、⾼専育ち • 2008年独⽴開業 • 上流、下流、運⽤ • Rails 1.1〜4.2受託（ほぼ業務委託） • 地域コミュニティサイト • SNS • ペライチ的なの • 業務管理システム • 動画配信・販売サイトなどなど… • 特定の取引先に依存しない働き⽅！ • 2016年6⽉法⼈成り予定 • タケユー・ウェブ（株）ロケ地：蒜⼭⾼原

Slide 3

Slide 3 text

ディーゼル気動⾞ on Rails（単線）

Slide 4

Slide 4 text

ディーゼル気動⾞ on Rails（単線）

Slide 5

Slide 5 text

Ruby on Rails on AWS の話

Slide 6

Slide 6 text

ぼくが使ったことある⾮同期っぽいもの • SQS (Simple Queue Service) • SWF (Simple Work Flow) • Data Pipeline（バッチ処理も⾮同期の範疇？） • Lambda（イベント駆動も？）

Slide 7

Slide 7 text

Amazon SQS (Simple Queue Service) • フルマネージドなメッセージキューサービス • 配信管理（排他制御、配信保証、再送など） • メッセージに含まれるペイロード数で課⾦

Slide 8

Slide 8 text

Amazon SWF (Simple Workflow Service) • スケーラブルなワークフロー実⾏基盤 • ワークフロー実⾏回数、過去の保持件数、実⾏中のタスク等の数で課⾦

Slide 9

Slide 9 text

Amazon Data Pipeline • 定期的にデータをとってきてまとめて処理して結果を書き出すようなの • 実⾏頻度で課⾦＋パイプライン中で呼び出されるほかのサービスの料⾦（EMRとかS3とか）

Slide 10

Slide 10 text

AWS Lambda • AWS上の各種イベントに対して⾮同期実⾏される処理を書ける • リクエスト数、処理時間、使⽤メモリ量で課⾦

Slide 11

Slide 11 text

Amazon SQS を少し詳しく 5分じゃ⾜りないのでせめてSQS

Slide 12

Slide 12 text

Amazon SQS を少し詳しく • 特徴 • 対策 • 監視 • Ruby/Railsでの利⽤

Slide 13

Slide 13 text

Amazon SQS 知っておくべき特徴① • メッセージ（ジョブ）は少なくとも１回 • 必ず１回は配信される（at-least-once） • ２回以上配信される場合がある

Slide 14

Slide 14 text

Amazon SQS 知っておくべき特徴② • メッセージ（ジョブ）は⾃動で削除されない • ジョブ終了時にSQSにメッセージ削除を要求する必要がある • 処理途中でプロセスやサーバが死んでも、完了前なら再配信あり • 削除しない場合、⼀定時間（「可視性タイムアウト」）後配信される

Slide 15

Slide 15 text

Amazon SQS 知っておくべき特徴③ • 可視性タイムアウト • 配信されたジョブがほかのワーカーに配信されない期間 • 繰り返すが at-least-once なので２つ以上のワーカーに同時に配信されることはある • 「可視性タイムアウト」を経過したら、ほかのワーカーから⾒えるように（再配信） • 「可視性タイムアウト」後はメッセージを削除できず、繰り返し実⾏されることになる

Slide 16

Slide 16 text

Amazon SQS 知っておくべき特徴④ • 先⼊れ先出し（FIFO）を保証しない • メッセージの配信の順番は当てにならない

Slide 17

Slide 17 text

Amazon SQS 知っておくべき特徴⑤ • メッセージ保持期間を過ぎると消える • デフォルトは４⽇間、キューごとに変更可能 • 最⼩1分 • 最⼤14⽇

Slide 18

Slide 18 text

「メッセージは少なくとも１回」対策 • 繰り返し実⾏されても壊れないように設計する（冪等性） • 処理中に同時に実⾏されても後から実⾏した⽅を無視する • メッセージ中のパラメータ • SQSによって設定されるメッセージID

Slide 19

Slide 19 text

「メッセージは⾃動で削除されない」対策 • 例外を発⽣せず完了した場合はメッセージを削除 • リトライが必要ない例外は例外クラスを指定してrescueした上で削除するとか

Slide 20

Slide 20 text

「可視性タイムアウト」対策 • ⻑時間かかるジョブ実⾏中は時々「 ChangeMessageVisibility アクション」で延⻑ • キューのタイムアウト設定が 30秒 • 処理開始20秒時点で終わらなかったら+60秒とか • 最⼤で処理開始から12時間まで • 別のThreadなりで随時延⻑し続けるのが確実 • 上記がうまく機能せず、繰り返し実⾏される場合の対策 • デッドレターキュー（後述）

Slide 21

Slide 21 text

「FIFOを保証しない」対策 • 順番が重要な場合はジョブから次のジョブを呼び出すように • 順序情報をメッセージに含めておき、アプリ側でそれをみて制御 • SWF（ワークフロー）を使う

Slide 22

Slide 22 text

「メッセージ保持期間」対策 • デッドレターキュー Dead Letter Queue • ｎ回受信して成功しなかったら、メッセージを「デッドレターキュー」に移動 • デッドレターキュー⾃体はふつうのSQSキュー • うまくいかなかったメッセージを⼊れるキューとして使うよってこと • デッドレターキュー処理⽤のワーカーを作る • 管理者に通知 • ⼀時的なものと判断して再実⾏を試す • などお好きなように

Slide 23

Slide 23 text

監視 • 正常に処理されなかったジョブ • デッドレターキュー • おやワーカーの様⼦が･･･（死んでる、⾜りてない） • CloudWatchで監視 • 処理中のメッセージ数が０･･･動いてないぽい • 取得可能なメッセージ数が減らない･･･動いてないぽい • 取得可能なメッセージ数増えすぎ･･･増えすぎならワーカー⾜りてなくない？

Slide 24

Slide 24 text

Ruby/Railsでの利⽤ • AWS SDK for Ruby V2 gem • 公式 • 実⾏基盤も⾃分で書く必要あり • ワーカー⽤のdaemon • ActiveJobアダプタなど • Shoryuken gem • 割と活発に開発されている • ActiveJobアダプタあり • プラガブルなサーバーミドルウェア • 可視性タイムアウトの⾃動延⻑ • メッセージの⾃動削除など

Slide 25

Slide 25 text

SQSどうでしょう？ • ほかのやつの⽅がこんなに便利 • SQSこんなによさげだって知らなかった • ⾃分はSQSのここで困ってるがどうしてる？

Slide 26

Slide 26 text

そのほか質問や意⾒などあれば！