Sidekiq+Valkey Serverless でハマった話

Omotesando.rb #112でLT登壇した資料。

Transcript

1. Sidekiq+Valkey Serverless でハマった話 2025.08.07 Omotesando.rb #112 株式会社きがるな 内間 悠人
2. confidential 自己紹介 株式会社きがるな 1 Yuto Uchima (@beerfan_biber) うっちーって呼んでね！ • 株式会社きがるな 代表取締役 • フルスタックエンジニア • ビールが好き • Casusult（カジュサル）というサービスを開発しています
3. confidential プロダクト紹介 Casusult（カジュサル） • SNSクラウドソーシングプラットフォーム • 「カジュアルに相談してから契約」がコンセプト • “スキル×人柄”からワーカーの選定が可能 株式会社きがるな 2
4. 株式会社きがるな 3 ぜひ一度覗いてみてください！
5. 株式会社きがるな 4 みなさん、Sidekiqは使っていますか？
6. confidential Sidekiqとは バックグラウンドジョブ処理ライブラリ 【開発・運用面のメリット】 • Redisをバックエンドに使用したシンプルな構成 • リトライ、スケジューリング、監視が可能 • ダッシュボード 【パフォーマンス】 • 高速で信頼性の高い処理 • ワーカー数を調整可能でスケーラブル • メモリ使用量が少ない 株式会社きがるな 5
7. confidential インプレッション集計ジョブ 株式会社きがるな 6 投稿がタイムラインに表示される • 投稿が取得されるたびにインプレッションをカウント • 毎カウントでDB更新するのは負荷が高い • カウントをキャッシュしてDB更新頻度を下げたい → インプレッション集計ジョブ作成
8. confidential インプレッション集計ジョブの実装 1. 取得投稿ID+ユーザーID をRedisにキャッシュ 2. Jobをキューイング (5分後に実行) 3. インプレッション数を Bulk Update 投稿取得 ↓ Redisに投稿IDをキャッシュ ↓ Job実行を5分後に設定 株式会社きがるな 7
9. confidential インプレッション集計ジョブの実装 株式会社きがるな 8 1. 取得投稿ID+ユーザーID をRedisにキャッシュ 2. Jobをキューイング (5分後に実行) 3. インプレッション数を Bulk Update ジョブ実行 ↓ Redisの排他制御で リロードによる重複カウントを防ぐ ↓ インプレッション数を更新
10. confidential インプレッション集計ジョブ 株式会社きがるな 9 投稿がタイムラインに表示される 非同期でジョブを実行
11. confidential インフラ構成簡易図（APIサーバ） 株式会社きがるな 10 Fargate ElastiCache Serverless (Valkey) Amazon Aurora Serverless v2 Amazon EventBridge Amazon S3
12. confidential インフラ構成簡易図（APIサーバ） 株式会社きがるな 11 Fargate ElastiCache Serverless (Valkey) Amazon Aurora Serverless v2 Amazon EventBridge Amazon S3 既存のリソースを利用して FargateにSidekiq用のコンテナを追加 ElastiCacheをSidekiqで利用
13. confidential Sidekiq用のコンテナを作成 株式会社きがるな 12 Fargate ElastiCache Serverless (Valkey) コンテナ コンテナ
14. confidential Sidekiq用のコンテナを作成 株式会社きがるな 13 Fargate ElastiCache Serverless (Valkey) コンテナ コンテナ 接続エラー
15. confidential エラー原因 • 使用していたValkeyがクラスタ構成 • Sidekiqはクラスタ構成のValkey（Redis）に対応していませんでした 以下、SidekiqのGitHubより抜粋 (https://github.com/sidekiq/sidekiq/wiki/Using-Redis#architecture) 株式会社きがるな 14
16. confidential 構成変更 株式会社きがるな 15 Fargate ElastiCache Serverless (Valkey) コンテナ コンテナ 廃止
17. confidential 構成変更 株式会社きがるな 16 Fargate コンテナ Amazon SQS Active Job
18. confidential まとめ • ドキュメントをしっかりと読もう • 特に外部接続が発生する場合、接続先との相性を確認しよう みなさん、最近はVibe Codingでの実装が多いのでは？ 最近ドキュメントをちゃんと読んでますか？ 株式会社きがるな 17
19. confidential おわり ご清聴ありがとうございました。 株式会社きがるな 18 ＜Casusult をよろしく