Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
モチベーションクラウドを支える非同期処理の変遷
Search
リンクアンドモチベーション
February 01, 2021
Technology
0
170
モチベーションクラウドを支える非同期処理の変遷
リンクアンドモチベーション
February 01, 2021
Tweet
Share
More Decks by リンクアンドモチベーション
See All by リンクアンドモチベーション
ハイパフォーマンスな組織をつくるための開発生産性の考え方 / developer-productivity-high-performer-link-and-motivation
lmi
3
280
技術的負債あるある早く言いたい〜/RookiesLT-link-and-motivation
lmi
1
3.5k
Vue.jsを活用して開発リードタイムが1/3になった話/vuefes2023-link-and-motivation
lmi
4
6.4k
スモールリリースで品質とデリバリーを向上させる/young-engineerLT-link-and-motivation
lmi
0
130
マルチプロダクト運用におけるSREのあり方/SRE NEXT 2023-link-and-motivation
lmi
2
1.2k
GPTでメールの緊急度を 判定させてみた/automation-engineerLT-link-and-motivation
lmi
0
880
開発生産性を支えるテスト自動化とその効果的な浸透策/findy-fekaihatuseisansei-onlinecof-link-and-motivation
lmi
1
1.4k
「小さな施策」で組織の インプット・アウトプット文化をつくる/design-jam-link-and-motivation
lmi
0
66
LLMを使ってオンライン会議の議事録を自動生成してみた/forkwell-llm-5-link-and-motivation
lmi
0
560
Other Decks in Technology
See All in Technology
Autify Company Deck
autifyhq
1
30k
プッシュ型子育てサービスを、先行プロジェクト実施自治体において開始します
govtechtokyo
0
300
Kubeflow Pipelines v2 で変わる機械学習パイプライン開発
asei
4
340
ビジネスとコード品質の接合点 そしてコード品質がそこに及ぼす影響 / The Intersections of Business and Engineering, and The Impact of Code Quality There
mtx2s
11
1.1k
統計的学習理論読み Chapter 2
kmatsui
1
300
AFTを運用していたらAWS Configの課金が急増していた件
msato
0
120
任意コード実行の原理
ffri
0
190
10分でわかるfreeeのQA
freee
0
260
MongoDB Atlas Vectorsearchではじめる生成AIアプリ開発
chie8842
3
510
Introducing Pkl
enomotok
0
310
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
7
100k
LLM + RAG を使った SORACOM Support Bot の裏側の歴史
soracom
PRO
1
650
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
12
1.4k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
18
1.7k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.8k
Why You Should Never Use an ORM
jnunemaker
PRO
50
8.6k
Facilitating Awesome Meetings
lara
39
5.5k
Raft: Consensus for Rubyists
vanstee
130
6.2k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
8
8.2k
KATA
mclloyd
14
11k
BBQ
matthewcrist
78
8.7k
Mobile First: as difficult as doing things right
swwweet
215
8.5k
[RailsConf 2023] Rails as a piece of cake
palkan
21
3.8k
The Invisible Side of Design
smashingmag
293
49k
Transcript
モチベーション クラウドを支える 非同期処理の変遷 伊藤遼
自己紹介 伊藤 遼 • (株) リンクアンドモチベーションに新卒入社 2年目 • 配属当初から弊社プロダクトの性能改善チームに所属 (エンジニア歴
1年)
今日話すこと • プロジェクトの背景 • 何をしたか • 苦労したこと • やってよかったこと •
これから目指すところ モチベーションクラウドの非同期処理を刷新した話
非同期処理効率化プロジェクトの背景 • 超大手企業への導入 1社あたりの処理負荷の増大 • 導入社数の増加 同時処理数が増加 プロダクトの成長により....
バッチサーバー1台で、cronを回していたので 1処理の負荷が高まりサーバの限界を超えた... 何が起きたか? part 1 処理 A SaaSだと企業ごとに処理するので、 企業規模が大きくなると1処理の量が増えて許容量を超える 鳴り響くサーバアラート
処理 B 処理 C 処理 A 処理 B 処理 C
単一サーバ + 大量のcron • サイズの大きい単一サーバで運用 • 毎分20超、毎時10超のrake taskが起動 負荷が集中すると1台しかないサーバが耐えきれない 可用性を高めるためにスケーラブルにしたい
課題
A 社 の 処 理 各社の 待ち時間 何が起きたか? part 2
ユーザーからのクレーム SaaSだと企業ごとに処理するので、 導入企業数が多くなると待ち時間がながくなる 直列処理のため耐えられないほどの待ち時間がかかった B 社 の 処 理 C 社 の 処 理 A 社 の 処 理 B 社 の 処 理 C 社 の 処 理 D 社 の 処 理 E 社 の 処 理 F 社 の 処 理 許容待ち時間 許容待ち時間
処理が直列で実行されていた • 企業規模や企業数が多くなると後続の処理が遅延 • 例外発生時、後続の処理が遅延 (もしくは処理されない) 企業毎に処理を並列化したい 課題
検討したgemとアーキテクチャ gem \ 判断基準 ⭐ キュー 運用実績 負荷耐性 運用コスト sidekiq
10.7k redis × ◯ × resque 8.8k redis × ◯ × delayed_job 4.6k DB × × △ shoryuken 1.7k SQS × ◯ ◯ active elastic job 253 SQS ◯ ◯ ◯ 1. 可用性を高めるためにスケーラブルにしたい 2. 企業毎に処理を並列化したい
gem \ 判断基準 ⭐ キュー 運用実績 負荷耐性 運用コスト sidekiq 10.7k
redis × ◯ × resque 8.8k redis × ◯ × delayed_job 4.6k DB × × △ shoryuken 1.7k SQS × ◯ ◯ active elastic job 253 SQS ◯ ◯ ◯ 運用実績、負荷耐性、運用コストの観点で active elastic job (SQS + Worker) 構成に決まった 検討したgemとアーキテクチャ
どうやって解決したか • EC2 1台 SQS + EB worker構成にした
• SQSは重複配信される可能性がある 既存の処理は冪等性が担保されていない 重複実行されないような制御を実装 苦労したこと part 1 処理 A して
処理 A して 処理 A して
• 例外発生時のリトライ処理の実装 SQSには失敗時の自動リトライ用の仕組みがある 処理時間や重要度が様々なのでカスタマイズしたい 処理ごとにリトライ待機時間、回数制限を 定義できるようにした 苦労したこと part 2 処理
A × 5 処理 B × 50
• 実行条件が揃っていない時はリトライさせたい 実行条件が処理ごとにバラバラ 処理ごとに実行可能かどうかを定義できるようにした 苦労したこと part 3 処理 A して
処理 B して 集計処理完了? 一括処理完了?
結果 • 待ち時間が短くなった! • 負荷集中にもAutoScaleで自動対応できるようになった! 実績として、 過去最大社数の同時サーベイの実施も問題なし!
• 1つの処理で複数の責任をもっていたでっかい処理を 適切に分割できた • 非同期処理するためだけのテーブルの削除 副次効果 今後の開発生産性にも寄与
今後の予定 • 残りの非同期処理の SQS + Worker化 (全ての非同期処理の刷新) • 脱cron (ジョブスケジュラーの導入)
• ECS化
今日みたいな根本的なアーキテクチャ変更も 若手がガンガン実施してます! チャレンジしたい人大募集! ※興味がある方はぜひご連絡ください! ↓ ご清聴いただき、ありがとうございました!