Upgrade to Pro — share decks privately, control downloads, hide ads and more …

非同期ジョブと仲良くする

Bcbc80799bc32840662a366768318a9b?s=47 KOBA789
June 08, 2017
Technology
4
1.2k

 非同期ジョブと仲良くする

Cookpad Tech Kitchen #8 〜舞台裏を支える黒衣たち〜
https://cookpad.connpass.com/event/57029/
で発表した資料です。

Bcbc80799bc32840662a366768318a9b?s=128

KOBA789

June 08, 2017
Tweet

More Decks by KOBA789

See All by KOBA789
メガネとBluetooth Low Energyでお喋りする
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
970
Rustでon-diskなB+Treeを作ったときの細かな話
Bcbc80799bc32840662a366768318a9b?s=48 koba789
10
940
音の出るCPUを作っている途中
Bcbc80799bc32840662a366768318a9b?s=48 koba789
5
3.8k
自宅サーバーでbottlerocketを動かしてk8sクラスタを組む
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
880
へんなOSを自宅で使う
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
75
Keyboard Firmware in Rust
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
440
Rust本番投入をあきらめるためのガイドライン
Bcbc80799bc32840662a366768318a9b?s=48 koba789
3
6.3k
Rubyの会社でRustを書くということ
Bcbc80799bc32840662a366768318a9b?s=48 koba789
3
2.4k
Rustで正規表現エンジンっぽいのをアレした話
Bcbc80799bc32840662a366768318a9b?s=48 koba789
0
170

Other Decks in Technology

See All in Technology
msal.jsのあれこれ
716a39e2ee383722f960c17467eaf55b?s=48 takas0522
0
1.2k
New Features in C# 10/11
1c3658db58f755e44fc1a70255c08ff7?s=48 chack411
0
430
tfcon-2022-cpp
Dcc589548f0372645aaeb95bda8e22c2?s=48 cpp
5
4.2k
インフラエンジニアBooks 30分でわかる「Dockerコンテナ開発・環境構築の基本」
7bcf6f29a0b9a348fe422a31a4f44752?s=48 cyberblack28
9
5.9k
一人から始めるプロダクトSRE / How to start SRE in a product team, all by yourself
12a5cec7a54018170b1a009731acf477?s=48 vtryo
3
1.8k
Adopting Kafka for the #1 job site in the world
D984cd543d2abef28596cc5cfe82240c?s=48 ymyzk
1
230
Okta Identity Engineってどうよ？
66310d2dc1c18188f722d71dfb444bad?s=48 tatsumin39
0
270
ニフティでSRE推進活動を始めて取り組んできたこと
374e82d9428869942bed1de094a7ca95?s=48 niftycorp
2
120
Accelerating ZOZOTOWN Modernization with Istio
7634917a0679d61341cb5cf40dbc7766?s=48 yokawasa
0
210
様々な現場のPower Platform ～小さなエンジニアの奮闘記～
39adbc0cddb8c0ea8470c80248e9e71b?s=48 hyodol2513
0
1.6k
動画配信技術について
Cb4d62dd7c1d325863696c45e9b6484d?s=48 yaminoma
0
180
Babylon.js で簡単 WebXR
B8a848a5d23adf51f4f5373da52c2804?s=48 yuhara0928
1
270

Featured

See All Featured
Easily Structure & Communicate Ideas using Wireframe
0c6fd6a08d0f898159cda7cafcacf07f?s=48 afnizarnur
181
15k
Build The Right Thing And Hit Your Dates
016edace78ffe826f2348d1e0c504afd?s=48 maggiecrowley
19
1.1k
What's new in Ruby 2.0
7edec06b5435e0dac07a353b2cc26253?s=48 geeforr
336
30k
Fireside Chat
864a009ac73600c7c02e1f26629dd989?s=48 paigeccino
11
1.2k
Building a Scalable Design System with Sketch
1177e050db6bafe62885362edf6e3537?s=48 lauravandoore
447
30k
Fashionably flexible responsive web design (full day workshop)
433acaea1012b25d97ae66da9b998dad?s=48 malarkey
396
62k
Distributed Sagas: A Protocol for Coordinating Microservices
9128d500301ae51524e887bb680f471d?s=48 caitiem20
314
19k
The Web Native Designer (August 2011)
0bce06bd06ee7a2c4f5500f25dcf7f18?s=48 paulrobertlloyd
74
1.9k
CSS Pre-Processors: Stylus, Less & Sass
7559f6cff1f5efc2d210965febd4d71c?s=48 bermonpainter
349
27k
We Have a Design System, Now What?
95d9f37115fbb0d13135d0f77132f856?s=48 morganepeng
35
2.9k
Three Pipe Problems
11c84dff30266b907714802088852677?s=48 jasonvnalue
89
8.6k
How GitHub (no longer) Works
78b475797a14c84799063c7cd073962f?s=48 holman
296
140k

Transcript

  1. 非同期ジョブと
 仲良くする KOBA789 (Hidekazu Kobayashi) at Cookpad

  2. KOBA789 インフラ部データ基盤グループ 2017新卒(大学やめて高卒) Node.jsの本を書いた思い出 分野を横断した仕事が好き

  3. Q. ジョブキュー・ワーカー
 何使ってますか

  4. 大正義 共有 FileSystem コード Web マスター ワーカー Sidekiqさん

  5. Sidekiqさん 大正義 FileSystem コード Web Master Worker よさそうじゃん?

  6. 突然の

  7. FileSystem コード Web マスター ワーカー FileSystem コード コンテナ
 分けるならこう アプリケーション

    ジョブキュー・ワーカー

  8. コンテナ
 分けるならこう アプリ キュー・ ワーカー

  9. では増やしてみましょう

  10. アプリ キュー・ ワーカー

  11. アプリ
 増やすならこう キュー・ ワーカー アプリ アプリ アプリ アプリ

  12. キュー・ワーカーも
 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    アプリ アプリ アプリ アプリ

  13. キュー・ワーカーも 増やすならこう キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    アプリ アプリ アプリ アプリ ちょっとまって

  14. キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリ アプリ

    アプリ アプリ スケール
 できなくない? Redis Clusterの
 面倒を見たいか?

  15. アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    キュー・ ワーカー マスター ワーカー FileSystem コード マスターがたくさん
 いるのは無駄では

  16. アプリ アプリ アプリ アプリ キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー

    キュー・ ワーカー 必要な分だけ
 起動してほしいのでは

  17. キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー キュー・ ワーカー アプリを変更したらキュー・ワーカーも
 イメージをリビルドしないといけない

    アプリ アプリ アプリ アプリ

  18. ということで

  19. We introduce Barbeque

  20. Barbeque Barbeque Hako ざっくり言うと Dockerコンテナの
 管理ツール

  21. アプリ Barbeque Barbeque アプリ Hako

  22. アプリ Barbeque Barbeque アプリ Hako

  23. アプリ Barbeque Barbeque アプリ Hako

  24. アプリ Barbeque Barbeque アプリ Hako

  25. アプリ Barbeque Barbeque アプリ ワーカー Hako

  26. アプリ Barbeque Barbeque アプリ Hako ワーカー

  27. アプリ Barbeque Barbeque アプリ ワーカー Hako

  28. アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー

  29. アプリ アプリ Hako ワーカー ワーカー Barbeque Barbeque マスターとワーカーは
 別々に増やせる 必要な分だけ


    起動している

  30. アプリ Barbeque Barbeque アプリ ワーカー Hako ワーカー 運用はAWSにおまかせ
 スケールもしてくれる

  31. Barbeque Barbeque Hako アプリ アプリ ワーカー ワーカー これらのコンテナは
 同じイメージから起動している 起動時のコマンドライン引数が違うだけ


    unicorn vs. rake barbeque:execute

  32. アプリ Barbeque Barbeque アプリ Hako ワーカー ワーカー デプロイも楽になって
 最高ですね?

  33. Railsでの使い方

  34. HFNCBSCFRVF@DMJFOU Gemfile

  35. #BSCFRVF$MJFOUDPOGJHVSFEP]DPOGJH] DPOGJHBQQMJDBUJPOBXFTPNF@BQQ DPOGJHEFGBVMU@RVFVFEFGBVMU DPOGJHFOEQPJOUIUUQTCBSCFRVFFYBNQMFDPN FOE config/initializers/barbeque.rb

  36. DMBTT4PNF+PC"QQMJDBUJPO+PC EFGQFSGPSN QBSBN QBSBN  EPTPNFUIJOHBXFTPNF SFRVJSFTBMPOHUJNF FOE FOE app/jobs/some_job.rb

  37. 4PNF+PCQFSGPSN@MBUFS QBSBN QBSBN 適当なところで

  38. ActiveJob準拠で
 大変便利

  39. その他の機能 • ローカルでのジョブ実行(開発用) • AWS SNS契機でのジョブ実行 • べんりなWeb UI

  40. None
  41. None
  42. None

  43. そろそろみなさん 使いたくなってきた

  44. https://github.com/cookpad/barbeque

  45. Hakoが
 あるからこそできる

  46. Hakoの利点を
 最大限に活用している

  47. 非同期ジョブ基盤は
 単体ではない

  48. Cookpadの
 非同期ジョブ基盤は
 インフラに統合されている