非同期ジョブと仲良くする

Slide 1

Slide 1 text

非同期ジョブと  仲良くする KOBA789 (Hidekazu Kobayashi) at Cookpad

Slide 2

Slide 2 text

KOBA789 インフラ部データ基盤グループ 2017新卒(大学やめて高卒) Node.jsの本を書いた思い出分野を横断した仕事が好き

Slide 3

Slide 3 text

Q. ジョブキュー・ワーカー  何使ってますか

Slide 4

Slide 4 text

大正義共有 FileSystem コード Web マスターワーカー Sidekiqさん

Slide 5

Slide 5 text

Sidekiqさん大正義 FileSystem コード Web Master Worker よさそうじゃん?

Slide 6

Slide 6 text

突然の

Slide 7

Slide 7 text

FileSystem コード Web マスターワーカー FileSystem コードコンテナ  分けるならこうアプリケーションジョブキュー・ワーカー

Slide 8

Slide 8 text

コンテナ  分けるならこうアプリキュー・ワーカー

Slide 9

Slide 9 text

では増やしてみましょう

Slide 10

Slide 10 text

アプリキュー・ワーカー

Slide 11

Slide 11 text

アプリ  増やすならこうキュー・ワーカーアプリアプリアプリアプリ

Slide 12

Slide 12 text

キュー・ワーカーも  増やすならこうキュー・ワーカーキュー・ワーカーキュー・ワーカーキュー・ワーカーアプリアプリアプリアプリ

Slide 13

Slide 13 text

キュー・ワーカーも増やすならこうキュー・ワーカーキュー・ワーカーキュー・ワーカーキュー・ワーカーアプリアプリアプリアプリちょっとまって

Slide 14

Slide 14 text

キュー・ワーカーキュー・ワーカーキュー・ワーカーキュー・ワーカーアプリアプリアプリアプリスケール  できなくない? Redis Clusterの  面倒を見たいか?

Slide 15

Slide 15 text

アプリアプリアプリアプリキュー・ワーカーキュー・ワーカーキュー・ワーカーキュー・ワーカーマスターワーカー FileSystem コードマスターがたくさん  いるのは無駄では

Slide 16

Slide 16 text

アプリアプリアプリアプリキュー・ワーカーキュー・ワーカーキュー・ワーカーキュー・ワーカー必要な分だけ  起動してほしいのでは

Slide 17

Slide 17 text

キュー・ワーカーキュー・ワーカーキュー・ワーカーキュー・ワーカーアプリを変更したらキュー・ワーカーも  イメージをリビルドしないといけないアプリアプリアプリアプリ

Slide 18

Slide 18 text

ということで

Slide 19

Slide 19 text

We introduce Barbeque

Slide 20

Slide 20 text

Barbeque Barbeque Hako ざっくり言うと Dockerコンテナの  管理ツール

Slide 21

Slide 21 text

アプリ Barbeque Barbeque アプリ Hako

Slide 22

Slide 22 text

アプリ Barbeque Barbeque アプリ Hako

Slide 23

Slide 23 text

アプリ Barbeque Barbeque アプリ Hako

Slide 24

Slide 24 text

アプリ Barbeque Barbeque アプリ Hako

Slide 25

Slide 25 text

アプリ Barbeque Barbeque アプリワーカー Hako

Slide 26

Slide 26 text

アプリ Barbeque Barbeque アプリ Hako ワーカー

Slide 27

Slide 27 text

アプリ Barbeque Barbeque アプリワーカー Hako

Slide 28

Slide 28 text

アプリ Barbeque Barbeque アプリワーカー Hako ワーカー

Slide 29

Slide 29 text

アプリアプリ Hako ワーカーワーカー Barbeque Barbeque マスターとワーカーは  別々に増やせる必要な分だけ  起動している

Slide 30

Slide 30 text

アプリ Barbeque Barbeque アプリワーカー Hako ワーカー運用はAWSにおまかせ  スケールもしてくれる

Slide 31

Slide 31 text

Barbeque Barbeque Hako アプリアプリワーカーワーカーこれらのコンテナは  同じイメージから起動している起動時のコマンドライン引数が違うだけ  unicorn vs. rake barbeque:execute

Slide 32

Slide 32 text

アプリ Barbeque Barbeque アプリ Hako ワーカーワーカーデプロイも楽になって  最高ですね?

Slide 33

Slide 33 text

Railsでの使い方

Slide 34

Slide 34 text

HFNCBSCFRVF@DMJFOU Gemﬁle

Slide 35

Slide 35 text

#BSCFRVF$MJFOUDPOGJHVSFEP]DPOGJH] DPOGJHBQQMJDBUJPOBXFTPNF@BQQ DPOGJHEFGBVMU@RVFVFEFGBVMU DPOGJHFOEQPJOUIUUQTCBSCFRVFFYBNQMFDPN FOE conﬁg/initializers/barbeque.rb

Slide 36

Slide 36 text

DMBTT4PNF+PC"QQMJDBUJPO+PC EFGQFSGPSN QBSBN QBSBN EPTPNFUIJOHBXFTPNF SFRVJSFTBMPOHUJNF FOE FOE app/jobs/some_job.rb

Slide 37

Slide 37 text

4PNF+PCQFSGPSN@MBUFS QBSBN QBSBN 適当なところで

Slide 38

Slide 38 text

ActiveJob準拠で  大変便利

Slide 39

Slide 39 text

その他の機能 • ローカルでのジョブ実行(開発用) • AWS SNS契機でのジョブ実行 • べんりなWeb UI

Slide 40

Slide 40 text

No content

Slide 41

Slide 41 text

No content

Slide 42

Slide 42 text

No content

Slide 43

Slide 43 text

そろそろみなさん使いたくなってきた

Slide 44

Slide 44 text

https://github.com/cookpad/barbeque

Slide 45

Slide 45 text

Hakoが  あるからこそできる

Slide 46

Slide 46 text

Hakoの利点を  最大限に活用している

Slide 47

Slide 47 text

非同期ジョブ基盤は  単体ではない

Slide 48

Slide 48 text

Cookpadの  非同期ジョブ基盤は  インフラに統合されている