Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Cache Stampede
Search
Takafumi ONAKA
PRO
July 21, 2023
Technology
1
1.9k
Cache Stampede
2023-07-21 サブカル業界Developers 勉強会 Vol.5 #subcul_dev
https://subculturedev.connpass.com/event/287823/
Takafumi ONAKA
PRO
July 21, 2023
Tweet
Share
More Decks by Takafumi ONAKA
See All by Takafumi ONAKA
強いチームと開発生産性
onk
PRO
33
11k
ADRを運用して3年経った僕らの現在地
onk
PRO
18
7.6k
すこやかなサービス運営のための PWG (Performance Working Group)
onk
PRO
0
36
オブザーバビリティの Primary Signals
onk
PRO
2
3.6k
ORM - Object-relational mapping
onk
PRO
1
3.4k
デュアルトラックアジャイルとの向き合い方
onk
PRO
4
11k
技術記事を書く&楽しむチームの作り方
onk
PRO
0
110
グルーミングしながら進めるプロダクト開発
onk
PRO
0
230
エンジニアの個人ブランディングと技術組織
onk
PRO
0
100
Other Decks in Technology
See All in Technology
Can We Measure Developer Productivity?
ewolff
1
150
TanStack Routerに移行するのかい しないのかい、どっちなんだい! / Are you going to migrate to TanStack Router or not? Which one is it?
kaminashi
0
580
Terraform CI/CD パイプラインにおける AWS CodeCommit の代替手段
hiyanger
1
240
Amazon CloudWatch Network Monitor のススメ
yuki_ink
1
200
マルチプロダクトな開発組織で 「開発生産性」に向き合うために試みたこと / Improving Multi-Product Dev Productivity
sugamasao
1
300
Engineer Career Talk
lycorp_recruit_jp
0
130
[FOSS4G 2024 Japan LT] LLMを使ってGISデータ解析を自動化したい!
nssv
1
210
dev 補講: プロダクトセキュリティ / Product security overview
wa6sn
1
2.3k
The Role of Developer Relations in AI Product Success.
giftojabu1
0
120
Security-JAWS【第35回】勉強会クラウドにおけるマルウェアやコンテンツ改ざんへの対策
4su_para
0
170
SSMRunbook作成の勘所_20241120
koichiotomo
2
130
TypeScript、上達の瞬間
sadnessojisan
46
13k
Featured
See All Featured
KATA
mclloyd
29
14k
GitHub's CSS Performance
jonrohan
1030
460k
Adopting Sorbet at Scale
ufuk
73
9.1k
Teambox: Starting and Learning
jrom
133
8.8k
Scaling GitHub
holman
458
140k
How to Ace a Technical Interview
jacobian
276
23k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.3k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
47
2.1k
Transcript
Cache Stampede id:onk 2023-07-21 サブカル業界Developers 勉強会 Vol.5 1
自己紹介 • 大仲 能史 a.k.a. id:onk • 株式会社はてな ◦ チーフエンジニア
◦ 今日は京都から来ました 2
3 はてな×サブカル?
はてなの事業 | コンテンツプラットフォームサービス 提供開始から10年を超える「はてなブログ」「はてなブックマーク」など、 個人ユーザー向けコンテンツプラットフォームサービスを提供 「はてなブログ」はユーザーの「書きたい」気持ちに応えるブログサービスです。手軽に書きたい人も、しっか り書きたい人も満足できる便利な機能を備えています。シンプルかつモダンなブログサービスとして継続的な機 能開発に取り組むとともに、検索流入に寄与する要件への対応や機能改善、「はてなブックマーク」との連携な ど、ユーザーの書いたコンテンツが読まれる仕組みも用意しています。 「はてなブックマーク」は国内最大級のソーシャルブックマークサービスです。ニュースやブログのなかから気
になった記事をクラウド上に保存し、ほかのユーザーと共有することができます。オンラインブックマークツー ルとしての利用だけでなく、時々刻々と移り変わるインターネットの人気ページや旬の話題が集まるメディアと しても多くのユーザーにご利用いただいています。
はてなの事業 | テクノロジーソリューションサービス マンガサイト、マンガアプリとしての魅力を引き出せるマンガビューワ「GigaViewer」は、 ユーザーが快適にマンガ作品を楽しむための各種機能に加え、サービス提供者の運用コストを 削減する管理機能、広告によるマネタイズ支援などにより集英社様、講談社様、小学館様などが 提供するマンガサービスに採用されています。 2017年から提供しているWeb版に加え、2021年よりアプリ版をスタートしました。 マンガビューワ GigaViewer
GigaViewer for Web 2017年~ GigaViewer for Apps 2021年~ GigaViewerが採用されたマンガサービス(15社・21サービス / 2023年2月時点)
はてなの事業 | テクノロジーソリューションサービス 株式会社集英社との協業サービス マンガノ 株式会社集英社との共同開発 ジャンプルーキー! あしたのヤングジャンプ マンガ投稿・販売プラットフォーム(Web) マンガ投稿・公開サービス(Web/アプリ)
マンガ投稿・公開サービス(Web)
はてなの事業 | テクノロジーソリューションサービス 株式会社KADOKAWAとの共同開発 カクヨム 小説投稿・収益還元プラットフォーム(Web / アプリ) エンタテインメントサイト(Web) リニューアル開発・運用支援
魔法のiらんど
はてなの事業 | テクノロジーソリューションサービス 任天堂株式会社のゲーム連動サービスのデザイン、サービス企画、サービス開発に協力 スマプラス イカリング2/イカリング3 Nintendo Switch™ソフト「大乱闘スマッシュブラザーズ SPECIAL」 (発売元:任天堂株式会社)のゲーム連動サービス Nintendo
Switch™ソフト「スプラトゥーン2」 (発売元:任天堂株式会社)のゲーム連動サービス ※Nintendo Switchは任天堂の商標です。 イカリング2 © 2017 Nintendo 大乱闘スマッシュブラザーズ SPECIAL / スマプラス © 2018 - 2019 Nintendo Original Game: © Nintendo / HAL Laboratory, Inc. Characters: © Nintendo / HAL Laboratory, Inc. / Pokémon. / Creatures Inc. / GAME FREAK inc. / SHIGESATO ITOI / APE inc. / INTELLIGENT SYSTEMS / Konami Digital Entertainment / SEGA / CAPCOM CO., LTD. / BANDAI NAMCO Entertainment Inc. / MONOLITHSOFT / CAPCOM U.S.A., INC. / SQUARE ENIX CO., LTD. / ATLUS / Microsoft / SNK CORPORATION. / Mojang AB / Disney イカリング3 © Nintendo Nintendo Switch™ソフト「スプラトゥーン3」 (発売元:任天堂株式会社)のゲーム連動サービス
9 はてな=サブカル
10 今日の話
11 Cache Stampede
Cache Stampedeとは 12 • 異世界ダンジョンでお馴染みのスタンピード ◦ 押し寄せる様子。殺到する ◦ 日本では「Thundering Herd」の方が馴染みかも?
▪ Kazuho@Cybozu Labs: キャッシュシステムの Thundering Herd 問題 (2007)
Cache Stampedeの別名 • Thundering Herd ◦ 雷鳴のように鳴り響く群れ • Dog Piling
◦ 犬の積み重ね ◦ 人間が積み重なる野球の乱闘状態もDog Pile 13
Cache Stampedeとは 14 cache origin cacheで返せていたresponseが
Cache Stampedeとは 15 cache origin cacheが切れたら、originに殺到する
Cache Stampedeとは 16 cache origin originに大量に来るとoriginが死ぬ
Cache Stampedeとは 17 cache origin 新たなcacheとなるresponseを 返せないので、ずっと死に続ける
はてな×Cache 18
• CacheはRead Heavyなサービスに向く ◦ Write Heavyだとキャッシュしづらい • UGCはだいたいRead Heavy ◦
書く人は読む人の1/10も居ない • はてなと言えばUGC ◦ 20年間Cacheと一緒に生きてきました はてな×Cache 19
20 今日は主にマンガでの Cacheの話をします
マンガ×Cache 21 • TOPページは雑誌の顔 • 定期更新 ◦ 毎日だったり毎週だったり ◦ 例:ジャンプ33号→34号
• 0時や12時に切り替える
• 0時に一斉に切り替える ◦ 一斉にキャッシュを飛ばすということ • ユーザさんは更新を待っている ◦ F5連打状態。0時はアクセスが増える • アクセス増の中でキャッシュを飛ばす……?
マンガ×Cache 22
23 Stampede発生!
• Q: 昨今はクラウドだし耐えられない? • オートスケーリングは入れている ◦ 負荷に合わせて自動で増やすとか ◦ 更新直前にスケジュールで増やすとか •
とはいえStampedeは避けたい マンガ×Cache 24
Cache Stampede対策 25
• Locking • External recompute • PER (Probabilistic early recomputation)
• SWR (Stale-While-Revalidate) Cache Stampede対策 26
• Locking • External recompute • PER (Probabilistic early recomputation)
• SWR (Stale-While-Revalidate) Cache Stampede対策 27
Locking 28 cache origin originに大量に来るとoriginが死ぬ
Locking 29 cache origin originに1リクエストだけ通す ① ② ③ ④ ①
Locking 30 cache origin 残りは待たせておく ① ① ② ③ ④
Locking 31 cache origin responseが返ってきたらcacheして まとめて返す ① ③ ② ④
• Varnishがデフォルトでこの挙動 • CDNも同じ動きをする ◦ Edgeの数だけ貫通することも ◦ originは貫通してくるreq数に耐える必要がある Locking 32
• Locking • External recompute • PER (Probabilistic early recomputation)
• SWR (Stale-While-Revalidate) Cache Stampede対策 33
External recompute 34 cache origin ユーザリクエスト起因のresponseを キャッシュするのではなく
External recompute 35 cache origin 別プログラムからキャッシュを 定期的に更新し続ける external
External recompute 36 cache origin originを使うかもしれない external
• キャッシュを消さない! ◦ キャッシュが切れるからStampedeになるので、 キャッシュは切らさない。更新し続ける • cronでキャッシュを作るのが定番 External recompute 37
• 時間ぴったりに更新したい要求には弱い ◦ recomputeに時間が掛かるからキャッシュしている ◦ 0:00のcronで動いたら0:01にやっと更新されるとか • CDNのようなキャッシュだと実現しづらい ◦ リクエストに対するレスポンスをキャッシュするため
External recompute 38
• 外部連携でよく使う ◦ 外部サービスが落ちていると タイムアウトまで待ちがち ◦ 本体に影響が出ないようにする • responseを全てキャッシュする External
recompute 39 YouTube Instagram Blog
Cache Stampede対策 • Locking • External recompute • PER (Probabilistic
early recomputation) • SWR (Stale-While-Revalidate) 40
Probabilistic early recomputation 41 cache origin キャッシュが切れそうになったら確率的に originに通して、キャッシュを更新する
Probabilistic early recomputation 42 cache origin 最適な確率を計算するxfetchという アルゴリズムもある(らしい)
• 時間ぴったりに更新したい要求には弱い ◦ 0:00に更新したいページで23:59に生成しても まだ先週のコンテンツが表示されている ◦ expireを0:01にして0:00〜0:01の間に確率的に更新 することになる? Probabilistic early
recomputation 43
• Locking • External recompute • PER (Probabilistic early recomputation)
• SWR (Stale-While-Revalidate) Cache Stampede対策 44
• Stale ◦ 期限切れ (expired) なキャッシュのこと • Revalidate ◦ まだ有効か確認する。ダメなら最新化する?
• Stale-While-Revalidate ◦ 最新の生成物が届くまで期限切れのキャッシュを使う Stale-While-Revalidate 45
• staleキャッシュを返 しつつ、非同期に revalidateリクエスト Stale-While-Revalidate 46 https://yusukebe.com/posts/2021/varnish-stale-while-revalidate/
• HTTP Response Headerでも規定されている ◦ RFC 5861 ◦ https://developer.mozilla.org/en-US/docs/Web/ HTTP/Headers/Cache-Control
◦ Cache-Control ヘッダの値に使う Stale-While-Revalidate 47
• VarnishはGraceモードで実現できる ◦ Fastlyももちろん実現可能 • CDNにも実装されている ◦ Google Cloud CDN、CloudflareはHTTPヘッダに対応
◦ CloudFrontにも最近実装された (2023-05) ▪ Amazon CloudFront now supports stale-while-revalidate and stale-if-error cache control directives Stale-While-Revalidate 48
• https://github.com/vercel/swr も有名 ◦ フロントエンドのデータフェッチライブラリ ▪ Stale-While-Revalidateを実装してあり、いい感じになる Stale-While-Revalidate 49
• stale済みのキャッシュをまだ使える? ◦ originが落ちているときにも有効 • originが落ちているとき、エラーを返すのと 古いキャッシュを返すのと、どちらが良いか ◦ SWRは古すぎる場合にはエラーとなるが Stale-While-Revalidate
50
我々はどうしているか 51
52 未来時間 × ダブルバッファリング
• タイムトラベルして未来のデータを取得する ◦ 時限式のコンテンツを事前に動作確認できる ◦ 明日のトップページとか、キャンペーン開始後のバ ナー表示とか価格とか ◦ 「現在時刻」を外部入力とする設計と、その実装のこ と
- クックパッド開発者ブログ 未来時間 53
ダブルバッファリング • 古のゲームでよく使われていた手法 • バッファを2つ持ち、表示していない方のバッ ファに対して演算しつつ描画する • 表示は描画済みのバッファを表示するだけ ◦ 高速に切り替えられる
54
• 未来のデータを裏でキャッシュしておく • 時間になったら事前に計算済みのキャッシュ を表示する 未来時間×ダブルバッファリング 55
未来時間×ダブルバッファリング 56 12:00-12:15 のcache 12:15-12:30 のcache キャッシュ 作成さん 現在の コンテンツ
未来時間の コンテンツ 12:00 12:15 12:30
まとめ 57
• Cache Stampedeという現象 ◦ リクエストが一斉にoriginに押し寄せてしまう ◦ originを守る様々なテクニックが必要になる • 期限が切れたキャッシュの扱いに着目する ◦
stale済みでも使える場合がある • 時間ぴったりに更新するために試行錯誤した まとめ 58