Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
@nestjs/bull の活用について
Search
odanado
PRO
September 30, 2022
Programming
0
1.3k
@nestjs/bull の活用について
odanado
PRO
September 30, 2022
Tweet
Share
More Decks by odanado
See All by odanado
Vitest Browser Mode への期待 / Vitest Browser Mode
odanado
PRO
3
3.6k
クラウド KMS の活用 / TOKYO BLOCKCHAIN TECH MEETUP 2022
odanado
PRO
0
1.1k
Vue.observable で状態管理 / vue-observable-state-management
odanado
PRO
4
2k
nuxtjs-axios-error-handling
odanado
PRO
0
320
ブロックチェーンアプリのトランザクションに対するデータ分析 / PyCon-JP-2019
odanado
PRO
0
370
スマートコントラクトに対する既知の攻撃とその対策 / bc.tokyo-21
odanado
PRO
0
210
最近のweb3.js事情 / bc.tokyo-19
odanado
PRO
2
460
YAPC::Tokyo 2019に スタッフ参加してみて / kichijojipm-18
odanado
PRO
1
2.2k
JavaScript + Dockerの知見 / knowledge-of-docker-in-javascript
odanado
PRO
9
54k
Other Decks in Programming
See All in Programming
pylint custom ruleで始めるレビュー自動化
shogoujiie
0
130
第3回関東Kaggler会_AtCoderはKaggleの役に立つ
chettub
3
1.1k
CloudNativePGを布教したい
nnaka2992
0
100
2024年のWebフロントエンドのふりかえりと2025年
sakito
3
260
SpringBoot3.4の構造化ログ #kanjava
irof
3
1k
Conform を推す - Advocating for Conform
mizoguchicoji
3
700
Honoとフロントエンドの 型安全性について
yodaka
7
1.4k
CI改善もDatadogとともに
taumu
0
170
『テスト書いた方が開発が早いじゃん』を解き明かす #phpcon_nagoya
o0h
PRO
6
1.9k
PRレビューのお供にDanger
stoticdev
1
200
Pythonでもちょっとリッチな見た目のアプリを設計してみる
ueponx
1
600
一休.com のログイン体験を支える技術 〜Web Components x Vue.js 活用事例と最適化について〜
atsumim
0
680
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
67
11k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
We Have a Design System, Now What?
morganepeng
51
7.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
How to train your dragon (web standard)
notwaldorf
91
5.8k
Making Projects Easy
brettharned
116
6k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Designing for humans not robots
tammielis
250
25k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
The Language of Interfaces
destraynor
156
24k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
GraphQLとの向き合い方2022年版
quramy
44
13k
Transcript
@nestjs/bull の活用について NestJS meetup Online #4 @odan3240
目次 • 自己紹介 • 今日話すこと • @nestjs/bull とは • API
と Worker のサーバを分ける • ログに共通の ID を仕込む • bull の各種イベントをログに出力する 2
今日話すこと • バックエンドの非同期処理に @nestjs/bull を使用 • サービス運用で便利になる テクニックをいくつかご紹介 • サンプルコード
◦ odan-sandbox/nestjs-bull-patterns-sandbox • 前提知識 ◦ AWS Fargate にバックエンドのサーバがある ◦ ログの集計は CloudWatch 3
@nestjs/bull とは 4
@nestjs/bull とは • https://github.com/OptimalBits/bull は Redis バックエンドの非同期キューのライブラリ 5
@nestjs/bull とは • @nestjs/bull は bull の NestJS 向けのラッパー •
bull の Queue の仕組みを NestJS way な方法で扱える 6
@nestjs/bull とは • @nestjs/bull は bull の NestJS 向けのラッパー •
bull の Queue の仕組みを NestJS way な方法で扱える 7
API と Worker のサーバを分ける 8
API と Worker のサーバを分ける • API と Worker のサーバは求められる インフラの要件が異なる
◦ 水平スケールの条件など • 2つのサーバは独立で動くように プロセスを分けるのが良さそう • 「nestjs bull separate process」でググると Stack Overflow でヒットする 9
API と Worker のサーバを分ける 10 WebhookProcessor の登録の有無
API と Worker のサーバを分ける • registerQueueAsync ◦ queue.add を使うモジュールに登録する ◦
API サーバで呼び出されるモジュールなど • registerProcessorAsync ◦ 登録された job を実行するための関数 ◦ worker 用のプロセスを起動するモジュールに登録する 11
API と Worker のサーバを分ける 12 worker の実行
API と Worker のサーバを分ける • app.init() を実行すると アプリケーションが開始 • queue
に job が追加されると processor が実行されるようになる • ファイルは worker.ts で API サーバのエントリーファイル (main.ts) とは別 ◦ 別のプロセスで実行 ◦ コンテナを分けることも可能 13
ログに共通の ID を仕込む 14
ログに共通の ID を仕込む • pino-http は express 向けのロガーライブラリ • jsonl
ベースのログを出力する 15
ログに共通の ID を仕込む • nestjs-pino は pino-http の NestJS 向けラッパー
16
ログに共通の ID を仕込む • リクエストごとに共通の ID が割り振られていると 障害発生時の原因調査が楽 ◦ Observability
の向上 • ID で filter するとリクエストを受け付けてから レスポンスを返すまでの流れを把握できる ◦ 外部 API の呼び出しのログ ◦ クエリ発行のログ 17
ログに共通の ID を仕込む • worker でも pino-http みたいなことがしたい •
worker の処理が開始してから終了するまでに どういうログが出力されたか追跡可能だと良い 18
ログに共通の ID を仕込む 19 AsyncLocalStorage を使う
ログに共通の ID を仕込む 20 BaseProcessor を継承するだけ
bull の各種イベントをログに出力する 21
bull の各種イベントをログに出力する • bull は queue に入った job の状態に 応じて様々なイベントを
emit する 22
bull の各種イベントをログに出力する • OnQueueError ◦ job がエラーになったとき • OnQueueActive ◦
job がアクティブになったとき • OnQueueCompleted ◦ job が完了したとき • OnQueueFailed ◦ job が失敗したとき • これらのイベントのタイミングでログを 出力しておくと障害発生時に調査が楽になる 23
bull の各種イベントをログに出力する 24 イベントに対してログを出す
まとめ 25
まとめ • 運用を楽にする @nestjs/bull の使い方を紹介 ◦ API と Worker のサーバを分ける
◦ ログに共通の ID を仕込む ◦ bull の各種イベントをログに出力する • いわゆる Observability を改善すると 障害発生時の原因調査が楽 26