Upgrade to Pro — share decks privately, control downloads, hide ads and more …

非同期ジョブと仲良くする

Bcbc80799bc32840662a366768318a9b?s=47 KOBA789
June 08, 2017
Technology
4
1.1k

 非同期ジョブと仲良くする

Cookpad Tech Kitchen #8 〜舞台裏を支える黒衣たち〜
https://cookpad.connpass.com/event/57029/
で発表した資料です。

Bcbc80799bc32840662a366768318a9b?s=128

KOBA789

June 08, 2017
Tweet

More Decks by KOBA789

See All by KOBA789
Bcbc80799bc32840662a366768318a9b?s=48 koba789
5
3.3k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
700
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
54
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
400
Bcbc80799bc32840662a366768318a9b?s=48 koba789
3
5.8k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
2
2.1k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
150
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
240
Bcbc80799bc32840662a366768318a9b?s=48 koba789
18
5.1k

Other Decks in Technology

See All in Technology
7975b9fd58c8945ae1c6b38747de7f28?s=48 line_developers_tw2
0
140
9e8bdaea0cc26ccf98270c870b9ad26a?s=48 hiyosi
0
150
069cd7a173dfb7d46c8b6b90624f5bf1?s=48 nasrinjp
0
460
D8e79ab09f15e69d600c00131bf7d2a9?s=48 yfutamura
0
600
966e29b84ae7dbde170f66b0bc75b7a6?s=48 ishiayaya
PRO
0
160
3aeee885003e0a7406ba970fb015c4bb?s=48 sakuracloud
0
110
0b626efa067fc1732d0827b6ac1ca6e1?s=48 shoheiyamamoto
0
210
573d75e1a72107ff5c806d7e70a9e67d?s=48 michimani
0
300
E8aaf6f975dda96c47412cf311089243?s=48 tadashi0713
6
1.6k
E698a765c9d04ae52d5e1815b2007cfe?s=48 ufried
0
250
F3c727195d975cf7a4b300e4f5c2c0d1?s=48 am7cinnamon
3
560
D8e79ab09f15e69d600c00131bf7d2a9?s=48 yfutamura
0
400

Featured

See All Featured
1177e050db6bafe62885362edf6e3537?s=48 lauravandoore
12
1.8k
027d1ebf66cc039a0bd3b55eeadbe75d?s=48 sachag
446
36k
B3d6434763caa0ef5dc4b792662c49f7?s=48 smashingmag
283
47k
B3ace07412a5178ea778e7eec161fc0a?s=48 jcasabona
8
600
96270e4c3e5e9806cf7245475c00b275?s=48 addyosmani
1346
200k
B83d5b590577969ee79a5ad845411a7d?s=48 ammeep
657
54k
Fde6c3a50ca518a909ef35c22c0ee0e4?s=48 destraynor
146
19k
Ded01cdab114abe4ec13511e4c25b9bb?s=48 andyhume
64
3.8k
95d9f37115fbb0d13135d0f77132f856?s=48 morganepeng
96
14k
E195ae45320d9202eaa01c9f1d31a416?s=48 marktimemedia
8
490
9128d500301ae51524e887bb680f471d?s=48 caitiem20
311
17k
64827b31aef81498662e8af4bd6d5157?s=48 jonrohan
1021
390k

Transcript

  1. 非同期ジョブと
 仲良くする KOBA789 (Hidekazu Kobayashi) at Cookpad

  2. KOBA789 インフラ部データ基盤グループ 2017新卒(大学やめて高卒) Node.jsの本を書いた思い出 分野を横断した仕事が好き

  3. Q. ジョブキュー・ワーカー
 何使ってますか

  4. 大正義 共有 FileSystem コード Web マスター ワーカー Sidekiqさん

  5. Sidekiqさん 大正義 FileSystem コード Web Master Worker よさそうじゃん?

  6. 突然の

  7. FileSystem コード Web マスター ワーカー FileSystem コード コンテナ
 分けるならこう アプリケーション

    ジョブキュー・ワーカー

  8. コンテナ
 分けるならこう アプリ キュー・ ワーカー

  9. では増やしてみましょう

  10. アプリ キュー・ ワーカー

  11. アプリ
 増やすならこう キュー・ ワーカー アプリ アプリ アプリ アプリ

  12. キュー・ワーカーも
 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    アプリ アプリ アプリ アプリ

  13. キュー・ワーカーも 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    アプリ アプリ アプリ アプリ ちょっとまって

  14. キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリ アプリ

    アプリ アプリ スケール
 できなくない? Redis Clusterの
 面倒を見たいか?

  15. アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    キュー・ ワーカー マスター ワーカー FileSystem コード マスターがたくさん
 いるのは無駄では

  16. アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    キュー・ ワーカー 必要な分だけ
 起動してほしいのでは

  17. キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリを変更したらキュー・ワーカーも
 イメージをリビルドしないといけない

    アプリ アプリ アプリ アプリ

  18. ということで

  19. We introduce Barbeque

  20. Barbeque Barbeque Hako ざっくり言うと Dockerコンテナの
 管理ツール

  21. アプリ Barbeque Barbeque アプリ Hako

  22. アプリ Barbeque Barbeque アプリ Hako

  23. アプリ Barbeque Barbeque アプリ Hako

  24. アプリ Barbeque Barbeque アプリ Hako

  25. アプリ Barbeque Barbeque アプリ ワーカー Hako

  26. アプリ Barbeque Barbeque アプリ Hako ワーカー

  27. アプリ Barbeque Barbeque アプリ ワーカー Hako

  28. アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー

  29. アプリ アプリ Hako ワーカー ワーカー Barbeque Barbeque マスターとワーカーは
 別々に増やせる 必要な分だけ


    起動している

  30. アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー 運用はAWSにおまかせ
 スケールもしてくれる

  31. Barbeque Barbeque Hako アプリ アプリ ワーカー ワーカー これらのコンテナは
 同じイメージから起動している 起動時のコマンドライン引数が違うだけ


    unicorn vs. rake barbeque:execute

  32. アプリ Barbeque Barbeque アプリ Hako ワーカー ワーカー デプロイも楽になって
 最高ですね?

  33. Railsでの使い方

  34. HFNCBSCFRVF@DMJFOU Gemfile

  35. #BSCFRVF$MJFOUDPOGJHVSFEP]DPOGJH] DPOGJHBQQMJDBUJPOBXFTPNF@BQQ DPOGJHEFGBVMU@RVFVFEFGBVMU DPOGJHFOEQPJOUIUUQTCBSCFRVFFYBNQMFDPN FOE config/initializers/barbeque.rb

  36. DMBTT4PNF+PC"QQMJDBUJPO+PC EFGQFSGPSN QBSBN QBSBN  EPTPNFUIJOHBXFTPNF SFRVJSFTBMPOHUJNF FOE FOE app/jobs/some_job.rb

  37. 4PNF+PCQFSGPSN@MBUFS QBSBN QBSBN 適当なところで

  38. ActiveJob準拠で
 大変便利

  39. その他の機能 • ローカルでのジョブ実行(開発用) • AWS SNS契機でのジョブ実行 • べんりなWeb UI

  40. None
  41. None
  42. None

  43. そろそろみなさん 使いたくなってきた

  44. https://github.com/cookpad/barbeque

  45. Hakoが
 あるからこそできる

  46. Hakoの利点を
 最大限に活用している

  47. 非同期ジョブ基盤は
 単体ではない

  48. Cookpadの
 非同期ジョブ基盤は
 インフラに統合されている