Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
非同期ジョブと仲良くする
Search
KOBA789
June 08, 2017
Technology
4
1.8k
非同期ジョブと仲良くする
Cookpad Tech Kitchen #8 〜舞台裏を支える黒衣たち〜
https://cookpad.connpass.com/event/57029/
で発表した資料です。
KOBA789
June 08, 2017
Tweet
Share
More Decks by KOBA789
See All by KOBA789
人工衛星のファームウェアをRustで書く理由
koba789
16
9.2k
令和最新版手のひらコンピュータ
koba789
14
8.7k
時の流れが許せない
koba789
0
230
ついに生産が終わったけどZ80でまだまだ遊びたい
koba789
5
4.5k
ISUCONの練習を楽しくたくさんやる方法
koba789
2
1.4k
Z80をRustで動かすまで年が越せない
koba789
0
340
ISUCON練習環境を最も簡単に用意する方法
koba789
2
3.3k
音をアレする
koba789
0
1k
メガネとBluetooth Low Energyでお喋りする
koba789
0
1.6k
Other Decks in Technology
See All in Technology
Dify on AWS 環境構築手順
yosse95ai
0
170
データとAIで明らかになる、私たちの課題 ~Snowflake MCP,Salesforce MCPに触れて~ / Data and AI Insights
kaonavi
0
120
仕様駆動開発を実現する上流工程におけるAIエージェント活用
sergicalsix
7
3.6k
abema-trace-sampling-observability-cost-optimization
tetsuya28
0
360
AI駆動で進める依存ライブラリ更新 ─ Vue プロジェクトの品質向上と開発スピード改善の実践録
sayn0
1
340
Okta Identity Governanceで実現する最小権限の原則
demaecan
0
200
OpenCensusと歩んだ7年間
bgpat
0
180
入院医療費算定業務をAIで支援する:包括医療費支払い制度とDPCコーディング (公開版)
hagino3000
0
120
Amazon Athena で JSON・Parquet・Iceberg のデータを検索し、性能を比較してみた
shigeruoda
1
190
アノテーション作業書作成のGood Practice
cierpa0905
PRO
0
260
SOTA競争から人間を超える画像認識へ
shinya7y
0
610
JAWS UG AI/ML #32 Amazon BedrockモデルのライフサイクルとEOL対応/How Amazon Bedrock Model Lifecycle Works
quiver
1
110
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Bash Introduction
62gerente
615
210k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
Reflections from 52 weeks, 52 projects
jeffersonlam
355
21k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
VelocityConf: Rendering Performance Case Studies
addyosmani
333
24k
The Power of CSS Pseudo Elements
geoffreycrofte
80
6k
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
640
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
The Cost Of JavaScript in 2023
addyosmani
55
9.1k
Transcript
非同期ジョブと 仲良くする KOBA789 (Hidekazu Kobayashi) at Cookpad
KOBA789 インフラ部データ基盤グループ 2017新卒(大学やめて高卒) Node.jsの本を書いた思い出 分野を横断した仕事が好き
Q. ジョブキュー・ワーカー 何使ってますか
大正義 共有 FileSystem コード Web マスター ワーカー Sidekiqさん
Sidekiqさん 大正義 FileSystem コード Web Master Worker よさそうじゃん?
突然の
FileSystem コード Web マスター ワーカー FileSystem コード コンテナ 分けるならこう アプリケーション
ジョブキュー・ワーカー
コンテナ 分けるならこう アプリ キュー・ ワーカー
では増やしてみましょう
アプリ キュー・ ワーカー
アプリ 増やすならこう キュー・ ワーカー アプリ アプリ アプリ アプリ
キュー・ワーカーも 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー
アプリ アプリ アプリ アプリ
キュー・ワーカーも 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー
アプリ アプリ アプリ アプリ ちょっとまって
キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリ アプリ
アプリ アプリ スケール できなくない? Redis Clusterの 面倒を見たいか?
アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー
キュー・ ワーカー マスター ワーカー FileSystem コード マスターがたくさん いるのは無駄では
アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー
キュー・ ワーカー 必要な分だけ 起動してほしいのでは
キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリを変更したらキュー・ワーカーも イメージをリビルドしないといけない
アプリ アプリ アプリ アプリ
ということで
We introduce Barbeque
Barbeque Barbeque Hako ざっくり言うと Dockerコンテナの 管理ツール
アプリ Barbeque Barbeque アプリ Hako
アプリ Barbeque Barbeque アプリ Hako
アプリ Barbeque Barbeque アプリ Hako
アプリ Barbeque Barbeque アプリ Hako
アプリ Barbeque Barbeque アプリ ワーカー Hako
アプリ Barbeque Barbeque アプリ Hako ワーカー
アプリ Barbeque Barbeque アプリ ワーカー Hako
アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー
アプリ アプリ Hako ワーカー ワーカー Barbeque Barbeque マスターとワーカーは 別々に増やせる 必要な分だけ
起動している
アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー 運用はAWSにおまかせ スケールもしてくれる
Barbeque Barbeque Hako アプリ アプリ ワーカー ワーカー これらのコンテナは 同じイメージから起動している 起動時のコマンドライン引数が違うだけ
unicorn vs. rake barbeque:execute
アプリ Barbeque Barbeque アプリ Hako ワーカー ワーカー デプロイも楽になって 最高ですね?
Railsでの使い方
HFNCBSCFRVF@DMJFOU Gemfile
#BSCFRVF$MJFOUDPOGJHVSFEP]DPOGJH] DPOGJHBQQMJDBUJPOBXFTPNF@BQQ DPOGJHEFGBVMU@RVFVFEFGBVMU DPOGJHFOEQPJOUIUUQTCBSCFRVFFYBNQMFDPN FOE config/initializers/barbeque.rb
DMBTT4PNF+PC"QQMJDBUJPO+PC EFGQFSGPSN QBSBN QBSBN EPTPNFUIJOHBXFTPNF SFRVJSFTBMPOHUJNF FOE FOE app/jobs/some_job.rb
4PNF+PCQFSGPSN@MBUFS QBSBN QBSBN 適当なところで
ActiveJob準拠で 大変便利
その他の機能 • ローカルでのジョブ実行(開発用) • AWS SNS契機でのジョブ実行 • べんりなWeb UI
None
None
None
そろそろみなさん 使いたくなってきた
https://github.com/cookpad/barbeque
Hakoが あるからこそできる
Hakoの利点を 最大限に活用している
非同期ジョブ基盤は 単体ではない
Cookpadの 非同期ジョブ基盤は インフラに統合されている