非同期ジョブと仲良くする

Bcbc80799bc32840662a366768318a9b?s=47 Kobayashi
June 08, 2017
Technology
4
1k

 非同期ジョブと仲良くする

Cookpad Tech Kitchen #8 〜舞台裏を支える黒衣たち〜
https://cookpad.connpass.com/event/57029/
で発表した資料です。

Bcbc80799bc32840662a366768318a9b?s=128

Kobayashi

June 08, 2017
Tweet

More Decks by Kobayashi

See All by Kobayashi
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
350
Bcbc80799bc32840662a366768318a9b?s=48 koba789
3
5.3k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
2
1.9k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
140
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
220
Bcbc80799bc32840662a366768318a9b?s=48 koba789
18
4.9k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
1
130
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
910
Bcbc80799bc32840662a366768318a9b?s=48 koba789
2
320

Other Decks in Technology

See All in Technology
9e7a653ed313b3da4b263a772bfc5026?s=48 clustervr
0
170
D5a8875907107294786ee8cba72c7f4c?s=48 torufuru
1
480
457ada693e168bd1102fec3914040b5d?s=48 uipath_friends
0
140
42d77f62a04b402d6f7cad816a417592?s=48 watawatavoltage
0
130
Cf18e42df2acc7a1fc1700bcd8e76487?s=48 syrusakbary
0
230
0d29d155ce5c5a93ed46363626da3ea7?s=48 ocise
1
970
553784f5490e80cde79ef80ee70b5ed2?s=48 takamii228
1
130
2011382f0f10050fbb5f08e80e2bd125?s=48 akuwano
0
130
5af8e5bd2f24e4ea0cee732c6cc259b3?s=48 haruharuharuby
0
210
928b1395afedebb5ee48d44ab917c5f1?s=48 ryusa
1
310
3b02ffcc638b9cde6cb1bb458a926b15?s=48 yukiarrr
0
270
97d180294474e9df01503148f3b11f39?s=48 lambda
0
150

Featured

See All Featured
7c8469ee8c9e594c65c59b919626c08d?s=48 scottboms
250
11k
465724d73fe3a92c0879fdfb43a3a6f3?s=48 philhawksworth
190
8.7k
Fde6c3a50ca518a909ef35c22c0ee0e4?s=48 destraynor
222
47k
0c6fd6a08d0f898159cda7cafcacf07f?s=48 afnizarnur
175
14k
B6a8f005f39d23ffc930508ac9da68b9?s=48 vanstee
115
4.7k
7edec06b5435e0dac07a353b2cc26253?s=48 geeforr
331
29k
C157b16234f1e75e8eac3698c1d4414a?s=48 ddemaree
273
31k
E4f5d494ebdc9e7cce1aecf3ce3e8bc1?s=48 shpigford
366
42k
5ce91fa49a613cbc3e20d5f96856473f?s=48 edds
55
9.3k
C0b42577cfc2b321be3474618107e933?s=48 samanthasiow
54
6k
6bb82b13cda86d3b821fa44100335ddf?s=48 thoeni
3
370
7cbd3f5f922d798cc312eaf596de7ae6?s=48 iamctodd
11
1.6k

Transcript

  1. 非同期ジョブと
 仲良くする KOBA789 (Hidekazu Kobayashi) at Cookpad

  2. KOBA789 インフラ部データ基盤グループ 2017新卒(大学やめて高卒) Node.jsの本を書いた思い出 分野を横断した仕事が好き

  3. Q. ジョブキュー・ワーカー
 何使ってますか

  4. 大正義 共有 FileSystem コード Web マスター ワーカー Sidekiqさん

  5. Sidekiqさん 大正義 FileSystem コード Web Master Worker よさそうじゃん?

  6. 突然の

  7. FileSystem コード Web マスター ワーカー FileSystem コード コンテナ
 分けるならこう アプリケーション

    ジョブキュー・ワーカー

  8. コンテナ
 分けるならこう アプリ キュー・ ワーカー

  9. では増やしてみましょう

  10. アプリ キュー・ ワーカー

  11. アプリ
 増やすならこう キュー・ ワーカー アプリ アプリ アプリ アプリ

  12. キュー・ワーカーも
 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    アプリ アプリ アプリ アプリ

  13. キュー・ワーカーも 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    アプリ アプリ アプリ アプリ ちょっとまって

  14. キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリ アプリ

    アプリ アプリ スケール
 できなくない? Redis Clusterの
 面倒を見たいか?

  15. アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    キュー・ ワーカー マスター ワーカー FileSystem コード マスターがたくさん
 いるのは無駄では

  16. アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    キュー・ ワーカー 必要な分だけ
 起動してほしいのでは

  17. キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリを変更したらキュー・ワーカーも
 イメージをリビルドしないといけない

    アプリ アプリ アプリ アプリ

  18. ということで

  19. We introduce Barbeque

  20. Barbeque Barbeque Hako ざっくり言うと Dockerコンテナの
 管理ツール

  21. アプリ Barbeque Barbeque アプリ Hako

  22. アプリ Barbeque Barbeque アプリ Hako

  23. アプリ Barbeque Barbeque アプリ Hako

  24. アプリ Barbeque Barbeque アプリ Hako

  25. アプリ Barbeque Barbeque アプリ ワーカー Hako

  26. アプリ Barbeque Barbeque アプリ Hako ワーカー

  27. アプリ Barbeque Barbeque アプリ ワーカー Hako

  28. アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー

  29. アプリ アプリ Hako ワーカー ワーカー Barbeque Barbeque マスターとワーカーは
 別々に増やせる 必要な分だけ


    起動している

  30. アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー 運用はAWSにおまかせ
 スケールもしてくれる

  31. Barbeque Barbeque Hako アプリ アプリ ワーカー ワーカー これらのコンテナは
 同じイメージから起動している 起動時のコマンドライン引数が違うだけ


    unicorn vs. rake barbeque:execute

  32. アプリ Barbeque Barbeque アプリ Hako ワーカー ワーカー デプロイも楽になって
 最高ですね?

  33. Railsでの使い方

  34. HFNCBSCFRVF@DMJFOU Gemfile

  35. #BSCFRVF$MJFOUDPOGJHVSFEP]DPOGJH] DPOGJHBQQMJDBUJPOBXFTPNF@BQQ DPOGJHEFGBVMU@RVFVFEFGBVMU DPOGJHFOEQPJOUIUUQTCBSCFRVFFYBNQMFDPN FOE config/initializers/barbeque.rb

  36. DMBTT4PNF+PC"QQMJDBUJPO+PC EFGQFSGPSN QBSBN QBSBN  EPTPNFUIJOHBXFTPNF SFRVJSFTBMPOHUJNF FOE FOE app/jobs/some_job.rb

  37. 4PNF+PCQFSGPSN@MBUFS QBSBN QBSBN 適当なところで

  38. ActiveJob準拠で
 大変便利

  39. その他の機能 • ローカルでのジョブ実行(開発用) • AWS SNS契機でのジョブ実行 • べんりなWeb UI

  40. None
  41. None
  42. None

  43. そろそろみなさん 使いたくなってきた

  44. https://github.com/cookpad/barbeque

  45. Hakoが
 あるからこそできる

  46. Hakoの利点を
 最大限に活用している

  47. 非同期ジョブ基盤は
 単体ではない

  48. Cookpadの
 非同期ジョブ基盤は
 インフラに統合されている