スケーラブルActive Jobs with Sidekiq Enterprise (Kaigi on Rails 2023 Day 1 スポンサーLT2)

2023/10/27(Fri) Kaigi on Rails 2023 Day 1 スポンサーLT2

Transcript

1. スケーラブルActive Jobs with Sidekiq Enterprise Kaigi on Rails 2023 Day 1 <スポンサーLT2> 2023.10.27 Techouse ⼭崎良祐 ( @nappa )
2. ©Techouse All Rights Reserved P2 今日も生み出そう。 世界にまだない価値を。 明日も伸び続けよう。 世界をより良くするために 。 はじめまして Techouse と申します
3. ©Techouse All Rights Reserved P3 今日も生み出そう。 世界にまだない価値を。 明日も伸び続けよう。 世界をより良くするために 。
4. ©Techouse All Rights Reserved P4 現在の主⼒事業 事業概要 ⼈事労務等の社内ワークフローの効率化・ペーパレス化を実現する、 セミオーダー型DXクラウドシステム ⼈材採⽤のためのサイト制作・集客・管理を オールインワンで効率化する、フルオーダー型DXクラウドシステム ⼯場・製造業の領域に特化した、 求⼈数No.1の⼈材プラットフォーム クラウドサービス事業 ⼈材プラットフォーム事業 Rails とともに 創業11年 さまざまなプロダクトを ご提供しております
5. ©Techouse All Rights Reserved P5 今日も生み出そう。 世界にまだない価値を。 明日も伸び続けよう。 世界をより良くするために 。 せっかくなので 技術で一本LT
6. ©Techouse All Rights Reserved P6
7. ©Techouse All Rights Reserved P7 Active Job の 主な⽤途
8. ©Techouse All Rights Reserved P8 deliver_later で メール送信
9. ©Techouse All Rights Reserved P9 perform_later で エクスポートとか インポートとか の ⻑時間かかる処理
10. ©Techouse All Rights Reserved P10 Active Job は バックエンドが 選択できる
11. ©Techouse All Rights Reserved P11 Sidekiq or Resque or Delayed::Job
12. ©Techouse All Rights Reserved P12 Sidekiq or Resque or Delayed::Job いろいろ 特徴があり チョイスが難しい
13. ©Techouse All Rights Reserved P13 Sidekiq or Resque or Delayed::Job わたしたちは…
14. ©Techouse All Rights Reserved P14
15. ©Techouse All Rights Reserved P15 Mike Perham さんありがとう
16. ©Techouse All Rights Reserved P16 Sidekiq Enterprise
17. ©Techouse All Rights Reserved P17 同時実⾏数制限 (Rate Limit) 重複実⾏防⽌ (Unique Job) 信頼性 (Reliability) 定時実⾏ (Periodic Job) リーダー選出 (Leader Selection) Sidekiq Enterprise の機能たち
18. ©Techouse All Rights Reserved P18 有料ですが 大変よいので オススメ
19. ©Techouse All Rights Reserved P19 そして 時代は サーバレス
20. ©Techouse All Rights Reserved P20 AWS Lambda AWS Fargate Google Apps Engine Google Cloud Run
21. ©Techouse All Rights Reserved P21 コンテナを デプロイするだけで 動く系
22. ©Techouse All Rights Reserved P22 サーバの管理不要 OSの管理不要
23. ©Techouse All Rights Reserved P23 エンジニアを サーバ管理から解放
24. ©Techouse All Rights Reserved P24 サイコー↗
25. ©Techouse All Rights Reserved P25 わたしたちは……
26. ©Techouse All Rights Reserved P26 AWS Fargate
27. ©Techouse All Rights Reserved P27 全⾯的に Fargate で サーバレス
28. ©Techouse All Rights Reserved P28 通常稼働時
29. ©Techouse All Rights Reserved P29 AWS Cloud Fargate
30. ©Techouse All Rights Reserved P30 ⾼負荷時
31. ©Techouse All Rights Reserved P31 AWS Cloud Fargate
32. ©Techouse All Rights Reserved P32 AWS Cloud Fargate スケールアウト
33. ©Techouse All Rights Reserved P33 AWS Cloud Fargate スケールアウト
34. ©Techouse All Rights Reserved P34 同時実⾏数制限 (Rate Limit) 重複実⾏防⽌ (Unique Job) Sidekiq Enterprise の機能たち スケールアウトに伴う問題を解消してくれる便利機能ズ
35. ©Techouse All Rights Reserved P35 低負荷時
36. ©Techouse All Rights Reserved P36 AWS Cloud Fargate
37. ©Techouse All Rights Reserved P37 AWS Cloud Fargate スケールイン
38. ©Techouse All Rights Reserved P38 AWS Cloud Fargate スケールイン
39. ©Techouse All Rights Reserved P39 スケールインのとき 何が起きるのか
40. ©Techouse All Rights Reserved P40 AWS Cloud Fargate
41. ©Techouse All Rights Reserved P41 AWS Cloud Fargate SIGTERM
42. ©Techouse All Rights Reserved P42 AWS Cloud Fargate 新規Job 受付停⽌
43. ©Techouse All Rights Reserved P43 AWS Cloud Fargate 終了
44. ©Techouse All Rights Reserved P44 AWS Cloud Fargate
45. ©Techouse All Rights Reserved P45 もしも 処理中の Job が あったら…
46. ©Techouse All Rights Reserved P46 AWS Cloud Fargate
47. ©Techouse All Rights Reserved P47 AWS Cloud Fargate SIGTERM
48. ©Techouse All Rights Reserved P48 AWS Cloud Fargate 新規Job 受付停⽌
49. ©Techouse All Rights Reserved P49 AWS Cloud Fargate でもまだ 処理中💪
50. ©Techouse All Rights Reserved P50 AWS Cloud Fargate 30秒後
51. ©Techouse All Rights Reserved P51 AWS Cloud Fargate 30秒後 SIGKILL (強制終了)
52. ©Techouse All Rights Reserved P52 AWS Cloud Fargate 30秒後 あああー 処理終わって ないのに……
53. ©Techouse All Rights Reserved P53 AWS Cloud Fargate 30秒後
54. ©Techouse All Rights Reserved P54 30秒経っても exitしなかったら 強制終了される
55. ©Techouse All Rights Reserved P55 処理中のジョブは 途中のまま 強制終了
56. ©Techouse All Rights Reserved P56 リトライ可能な ものなら リトライしてくれる
57. ©Techouse All Rights Reserved P57 リトライできない 性質の Job を どうするか
58. ©Techouse All Rights Reserved P58 Amazon ECS Scale-in Protection
59. ©Techouse All Rights Reserved P59 AWS Cloud Fargate
60. ©Techouse All Rights Reserved P60 AWS Cloud Fargate お願いです 今から300秒間は KILL しないでください
61. ©Techouse All Rights Reserved P61 AWS Cloud Fargate わかった お願いです 今から300秒間は KILL しないでください
62. ©Techouse All Rights Reserved P62 AWS Cloud Fargate
63. ©Techouse All Rights Reserved P63 AWS Cloud Fargate
64. ©Techouse All Rights Reserved P64 AWS Cloud Fargate
65. ©Techouse All Rights Reserved P65 ただし AWS 固有の APIをコールする 必要がある
66. ©Techouse All Rights Reserved P66 Sidekiq Middleware で実装
67. ©Techouse All Rights Reserved P67 Sidekiq.configure_server do |config| config.server_middleware do |chain| chain.add ScaleInProtectionMiddleware end end
68. ©Techouse All Rights Reserved P68 うまくいってる模様
69. ©Techouse All Rights Reserved P69 これぞ スケーラブル Sidekiq
70. ©Techouse All Rights Reserved P70 さて
71. ©Techouse All Rights Reserved P71 本⽇ ブース出展 してます
72. ©Techouse All Rights Reserved P72
73. ©Techouse All Rights Reserved P73
74. ©Techouse All Rights Reserved P74 Techouse謹製 Ruby/Rails リファレンスつき ノートなど進呈
75. ©Techouse All Rights Reserved P75 スポンサーブースで お待ちしております