Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
非同期ジョブと仲良くする
Search
KOBA789
June 08, 2017
Technology
4
1.8k
非同期ジョブと仲良くする
Cookpad Tech Kitchen #8 〜舞台裏を支える黒衣たち〜
https://cookpad.connpass.com/event/57029/
で発表した資料です。
KOBA789
June 08, 2017
Tweet
Share
More Decks by KOBA789
See All by KOBA789
時の流れが許せない
koba789
0
66
ついに生産が終わったけどZ80でまだまだ遊びたい
koba789
5
4.3k
ISUCONの練習を楽しくたくさんやる方法
koba789
2
1.3k
Z80をRustで動かすまで年が越せない
koba789
0
210
ISUCON練習環境を最も簡単に用意する方法
koba789
2
3.2k
音をアレする
koba789
0
920
メガネとBluetooth Low Energyでお喋りする
koba789
0
1.6k
Rustでon-diskなB+Treeを作ったときの細かな話
koba789
11
1.9k
音の出るCPUを作っている途中
koba789
5
4.7k
Other Decks in Technology
See All in Technology
データ基盤の管理者からGoogle Cloud全体の管理者になっていた話
zozotech
PRO
0
320
Segment Anything Modelの最新動向:SAM2とその発展系
tenten0727
0
230
【CEDEC2025】ブランド力アップのためのコンテンツマーケティング~ゲーム会社における情報資産の活かし方~
cygames
PRO
0
230
【CEDEC2025】『ウマ娘 プリティーダービー』における映像制作のさらなる高品質化へ!~ 豊富な素材出力と制作フローの改善を実現するツールについて~
cygames
PRO
0
230
恐怖!テストコードなき夜
tsukuboshi
2
110
S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-to-query-s3-glacier-from-athena
emiki
0
180
OPENLOGI Company Profile for engineer
hr01
1
37k
風が吹けばWHOISが使えなくなる~なぜWHOIS・RDAPはサーバー証明書のメール認証に使えなくなったのか~
orangemorishita
15
5.4k
【Λ(らむだ)】最近のアプデ情報 / RPALT20250729
lambda
0
230
dipにおけるSRE変革の軌跡
dip_tech
PRO
1
220
AIエージェントを現場で使う / 2025.08.07 著者陣に聞く!現場で活用するためのAIエージェント実践入門(Findyランチセッション)
smiyawaki0820
5
480
私とAWSとの関わりの歩み~意志あるところに道は開けるかも?~
nagisa53
1
160
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
140
7k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
The Cost Of JavaScript in 2023
addyosmani
51
8.7k
Java REST API Framework Comparison - PWX 2021
mraible
32
8.8k
We Have a Design System, Now What?
morganepeng
53
7.7k
What's in a price? How to price your products and services
michaelherold
246
12k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Music & Morning Musume
bryan
46
6.7k
Git: the NoSQL Database
bkeepers
PRO
431
65k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Transcript
非同期ジョブと 仲良くする KOBA789 (Hidekazu Kobayashi) at Cookpad
KOBA789 インフラ部データ基盤グループ 2017新卒(大学やめて高卒) Node.jsの本を書いた思い出 分野を横断した仕事が好き
Q. ジョブキュー・ワーカー 何使ってますか
大正義 共有 FileSystem コード Web マスター ワーカー Sidekiqさん
Sidekiqさん 大正義 FileSystem コード Web Master Worker よさそうじゃん?
突然の
FileSystem コード Web マスター ワーカー FileSystem コード コンテナ 分けるならこう アプリケーション
ジョブキュー・ワーカー
コンテナ 分けるならこう アプリ キュー・ ワーカー
では増やしてみましょう
アプリ キュー・ ワーカー
アプリ 増やすならこう キュー・ ワーカー アプリ アプリ アプリ アプリ
キュー・ワーカーも 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー
アプリ アプリ アプリ アプリ
キュー・ワーカーも 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー
アプリ アプリ アプリ アプリ ちょっとまって
キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリ アプリ
アプリ アプリ スケール できなくない? Redis Clusterの 面倒を見たいか?
アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー
キュー・ ワーカー マスター ワーカー FileSystem コード マスターがたくさん いるのは無駄では
アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー
キュー・ ワーカー 必要な分だけ 起動してほしいのでは
キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリを変更したらキュー・ワーカーも イメージをリビルドしないといけない
アプリ アプリ アプリ アプリ
ということで
We introduce Barbeque
Barbeque Barbeque Hako ざっくり言うと Dockerコンテナの 管理ツール
アプリ Barbeque Barbeque アプリ Hako
アプリ Barbeque Barbeque アプリ Hako
アプリ Barbeque Barbeque アプリ Hako
アプリ Barbeque Barbeque アプリ Hako
アプリ Barbeque Barbeque アプリ ワーカー Hako
アプリ Barbeque Barbeque アプリ Hako ワーカー
アプリ Barbeque Barbeque アプリ ワーカー Hako
アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー
アプリ アプリ Hako ワーカー ワーカー Barbeque Barbeque マスターとワーカーは 別々に増やせる 必要な分だけ
起動している
アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー 運用はAWSにおまかせ スケールもしてくれる
Barbeque Barbeque Hako アプリ アプリ ワーカー ワーカー これらのコンテナは 同じイメージから起動している 起動時のコマンドライン引数が違うだけ
unicorn vs. rake barbeque:execute
アプリ Barbeque Barbeque アプリ Hako ワーカー ワーカー デプロイも楽になって 最高ですね?
Railsでの使い方
HFNCBSCFRVF@DMJFOU Gemfile
#BSCFRVF$MJFOUDPOGJHVSFEP]DPOGJH] DPOGJHBQQMJDBUJPOBXFTPNF@BQQ DPOGJHEFGBVMU@RVFVFEFGBVMU DPOGJHFOEQPJOUIUUQTCBSCFRVFFYBNQMFDPN FOE config/initializers/barbeque.rb
DMBTT4PNF+PC"QQMJDBUJPO+PC EFGQFSGPSN QBSBN QBSBN EPTPNFUIJOHBXFTPNF SFRVJSFTBMPOHUJNF FOE FOE app/jobs/some_job.rb
4PNF+PCQFSGPSN@MBUFS QBSBN QBSBN 適当なところで
ActiveJob準拠で 大変便利
その他の機能 • ローカルでのジョブ実行(開発用) • AWS SNS契機でのジョブ実行 • べんりなWeb UI
None
None
None
そろそろみなさん 使いたくなってきた
https://github.com/cookpad/barbeque
Hakoが あるからこそできる
Hakoの利点を 最大限に活用している
非同期ジョブ基盤は 単体ではない
Cookpadの 非同期ジョブ基盤は インフラに統合されている