Upgrade to Pro — share decks privately, control downloads, hide ads and more …

非同期ジョブと仲良くする

Bcbc80799bc32840662a366768318a9b?s=47 Kobayashi
June 08, 2017
Technology
4
1.1k

 非同期ジョブと仲良くする

Cookpad Tech Kitchen #8 〜舞台裏を支える黒衣たち〜
https://cookpad.connpass.com/event/57029/
で発表した資料です。

Bcbc80799bc32840662a366768318a9b?s=128

Kobayashi

June 08, 2017
Tweet

More Decks by Kobayashi

See All by Kobayashi
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
490
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
4
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
370
Bcbc80799bc32840662a366768318a9b?s=48 koba789
3
5.5k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
2
2k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
140
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
220
Bcbc80799bc32840662a366768318a9b?s=48 koba789
18
5k
Bcbc80799bc32840662a366768318a9b?s=48 koba789
1
130

Other Decks in Technology

See All in Technology
79fc33e55cacc42beef647541de24d58?s=48 yasuakiomokawa
0
410
69b93af68320a590f607c296e8edff73?s=48 k1low
1
600
E054fbe9ba4120aae81689f87d4c5ccb?s=48 simplework_oi
0
180
86e4f6731e81df0591bd9cb66ddbd347?s=48 sugimomoto
1
390
7fccfb690a818ed2f3a15fc21d426d5a?s=48 texmeijin
1
380
A84b3c763c9c543069b7c02551e2720e?s=48 yuyamada
9
1k
9a110460454f56172d4647937fe67f59?s=48 shoken
0
170
3a4e9f8c3cb529de8b1ac11fadb45d3d?s=48 yunon_phys
1
470
A645e7c3a6635ead8fa323c583769591?s=48 hololab
0
360
4649f3418cb4e7b951ca28e65003c7ac?s=48 sumi
0
600
1c6ef01647528e574184bbffa96df1cd?s=48 keiya01
21
8.7k
7d065deebd80754be06ba6d71049f1be?s=48 apcom
1
520

Featured

See All Featured
A60068bce2e73de3a37ca9d2dbe36092?s=48 bryan
100
11k
C7393b7ba7ec9c8890dd77d209fbb3c9?s=48 maltzj
500
36k
6804f1775cb4babfcc3851298566fbce?s=48 tanoku
86
8.5k
5f50f94346fbcb23706f0707169317a4?s=48 aarron
257
36k
3ab1249be442027903e1180025340b3f?s=48 reverentgeek
168
7.2k
39488f9d172ab92fd352f2cd7b73258d?s=48 mza
80
4.1k
A9a491b0fcbe0fbce3d64063a37add99?s=48 rmw
11
750
E76911cbe088e5b850d966de3fc7435b?s=48 robhawkes
52
2.8k
91cefdf141106fa10674aae74ce05890?s=48 yeseniaperezcruz
302
31k
8081b26e05bb4354f7d65ffc34cbbd67?s=48 chriscoyier
684
180k
761be20b5ebd271008bcee1244fc5b52?s=48 matthewcrist
73
7.5k
C9b18d9dff88a9dd2393364c2b3b21bd?s=48 colly
65
3k

Transcript

  1. 非同期ジョブと
 仲良くする KOBA789 (Hidekazu Kobayashi) at Cookpad

  2. KOBA789 インフラ部データ基盤グループ 2017新卒(大学やめて高卒) Node.jsの本を書いた思い出 分野を横断した仕事が好き

  3. Q. ジョブキュー・ワーカー
 何使ってますか

  4. 大正義 共有 FileSystem コード Web マスター ワーカー Sidekiqさん

  5. Sidekiqさん 大正義 FileSystem コード Web Master Worker よさそうじゃん?

  6. 突然の

  7. FileSystem コード Web マスター ワーカー FileSystem コード コンテナ
 分けるならこう アプリケーション

    ジョブキュー・ワーカー

  8. コンテナ
 分けるならこう アプリ キュー・ ワーカー

  9. では増やしてみましょう

  10. アプリ キュー・ ワーカー

  11. アプリ
 増やすならこう キュー・ ワーカー アプリ アプリ アプリ アプリ

  12. キュー・ワーカーも
 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    アプリ アプリ アプリ アプリ

  13. キュー・ワーカーも 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    アプリ アプリ アプリ アプリ ちょっとまって

  14. キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリ アプリ

    アプリ アプリ スケール
 できなくない? Redis Clusterの
 面倒を見たいか?

  15. アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    キュー・ ワーカー マスター ワーカー FileSystem コード マスターがたくさん
 いるのは無駄では

  16. アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    キュー・ ワーカー 必要な分だけ
 起動してほしいのでは

  17. キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリを変更したらキュー・ワーカーも
 イメージをリビルドしないといけない

    アプリ アプリ アプリ アプリ

  18. ということで

  19. We introduce Barbeque

  20. Barbeque Barbeque Hako ざっくり言うと Dockerコンテナの
 管理ツール

  21. アプリ Barbeque Barbeque アプリ Hako

  22. アプリ Barbeque Barbeque アプリ Hako

  23. アプリ Barbeque Barbeque アプリ Hako

  24. アプリ Barbeque Barbeque アプリ Hako

  25. アプリ Barbeque Barbeque アプリ ワーカー Hako

  26. アプリ Barbeque Barbeque アプリ Hako ワーカー

  27. アプリ Barbeque Barbeque アプリ ワーカー Hako

  28. アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー

  29. アプリ アプリ Hako ワーカー ワーカー Barbeque Barbeque マスターとワーカーは
 別々に増やせる 必要な分だけ


    起動している

  30. アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー 運用はAWSにおまかせ
 スケールもしてくれる

  31. Barbeque Barbeque Hako アプリ アプリ ワーカー ワーカー これらのコンテナは
 同じイメージから起動している 起動時のコマンドライン引数が違うだけ


    unicorn vs. rake barbeque:execute

  32. アプリ Barbeque Barbeque アプリ Hako ワーカー ワーカー デプロイも楽になって
 最高ですね?

  33. Railsでの使い方

  34. HFNCBSCFRVF@DMJFOU Gemfile

  35. #BSCFRVF$MJFOUDPOGJHVSFEP]DPOGJH] DPOGJHBQQMJDBUJPOBXFTPNF@BQQ DPOGJHEFGBVMU@RVFVFEFGBVMU DPOGJHFOEQPJOUIUUQTCBSCFRVFFYBNQMFDPN FOE config/initializers/barbeque.rb

  36. DMBTT4PNF+PC"QQMJDBUJPO+PC EFGQFSGPSN QBSBN QBSBN  EPTPNFUIJOHBXFTPNF SFRVJSFTBMPOHUJNF FOE FOE app/jobs/some_job.rb

  37. 4PNF+PCQFSGPSN@MBUFS QBSBN QBSBN 適当なところで

  38. ActiveJob準拠で
 大変便利

  39. その他の機能 • ローカルでのジョブ実行(開発用) • AWS SNS契機でのジョブ実行 • べんりなWeb UI

  40. None
  41. None
  42. None

  43. そろそろみなさん 使いたくなってきた

  44. https://github.com/cookpad/barbeque

  45. Hakoが
 あるからこそできる

  46. Hakoの利点を
 最大限に活用している

  47. 非同期ジョブ基盤は
 単体ではない

  48. Cookpadの
 非同期ジョブ基盤は
 インフラに統合されている