Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Cache Stampede
Search
Takafumi ONAKA
PRO
July 21, 2023
Technology
1
2.2k
Cache Stampede
2023-07-21 サブカル業界Developers 勉強会 Vol.5 #subcul_dev
https://subculturedev.connpass.com/event/287823/
Takafumi ONAKA
PRO
July 21, 2023
Tweet
Share
More Decks by Takafumi ONAKA
See All by Takafumi ONAKA
強いチームと開発生産性
onk
PRO
44
17k
ADRを運用して3年経った僕らの現在地
onk
PRO
22
23k
1文字エイリアスのすゝめ
onk
PRO
0
68
すこやかなサービス運営のための PWG (Performance Working Group)
onk
PRO
0
990
オブザーバビリティの Primary Signals
onk
PRO
2
6.1k
ORM - Object-relational mapping
onk
PRO
2
3.8k
デュアルトラックアジャイルとの向き合い方
onk
PRO
5
13k
技術記事を書く&楽しむチームの作り方
onk
PRO
0
2k
熊とワルツを
onk
PRO
0
15
Other Decks in Technology
See All in Technology
イオン店舗一覧ページのパフォーマンスチューニング事例 / Performance tuning example for AEON store list page
aeonpeople
1
220
新卒(ほぼ)専業Kagglerという選択肢
nocchi1
1
1.9k
いま、あらためて考えてみるアカウント管理 with IaC / Account management with IaC
kohbis
2
670
Exadata Database Service on Dedicated Infrastructure セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
1
360
AIとTDDによるNext.js「隙間ツール」開発の実践
makotot
5
450
我々は雰囲気で仕事をしている / How can we do vibe coding as well
naospon
2
210
生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」 / ROI of AI
i35_267
4
150
Postman MCP 関連機能アップデート / Postman MCP feature updates
yokawasa
0
120
Claude Code x Androidアプリ 開発
kgmyshin
1
540
Rethinking Incident Response: Context-Aware AI in Practice - Incident Buddy Edition -
rrreeeyyy
0
130
MySQL HeatWave:サービス概要のご紹介
oracle4engineer
PRO
4
1.7k
Goでマークダウンの独自記法を実装する
lag129
0
210
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Site-Speed That Sticks
csswizardry
10
780
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Thoughts on Productivity
jonyablonski
69
4.8k
How to Ace a Technical Interview
jacobian
279
23k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
How to train your dragon (web standard)
notwaldorf
96
6.2k
GitHub's CSS Performance
jonrohan
1031
460k
Transcript
Cache Stampede id:onk 2023-07-21 サブカル業界Developers 勉強会 Vol.5 1
自己紹介 • 大仲 能史 a.k.a. id:onk • 株式会社はてな ◦ チーフエンジニア
◦ 今日は京都から来ました 2
3 はてな×サブカル?
はてなの事業 | コンテンツプラットフォームサービス 提供開始から10年を超える「はてなブログ」「はてなブックマーク」など、 個人ユーザー向けコンテンツプラットフォームサービスを提供 「はてなブログ」はユーザーの「書きたい」気持ちに応えるブログサービスです。手軽に書きたい人も、しっか り書きたい人も満足できる便利な機能を備えています。シンプルかつモダンなブログサービスとして継続的な機 能開発に取り組むとともに、検索流入に寄与する要件への対応や機能改善、「はてなブックマーク」との連携な ど、ユーザーの書いたコンテンツが読まれる仕組みも用意しています。 「はてなブックマーク」は国内最大級のソーシャルブックマークサービスです。ニュースやブログのなかから気
になった記事をクラウド上に保存し、ほかのユーザーと共有することができます。オンラインブックマークツー ルとしての利用だけでなく、時々刻々と移り変わるインターネットの人気ページや旬の話題が集まるメディアと しても多くのユーザーにご利用いただいています。
はてなの事業 | テクノロジーソリューションサービス マンガサイト、マンガアプリとしての魅力を引き出せるマンガビューワ「GigaViewer」は、 ユーザーが快適にマンガ作品を楽しむための各種機能に加え、サービス提供者の運用コストを 削減する管理機能、広告によるマネタイズ支援などにより集英社様、講談社様、小学館様などが 提供するマンガサービスに採用されています。 2017年から提供しているWeb版に加え、2021年よりアプリ版をスタートしました。 マンガビューワ GigaViewer
GigaViewer for Web 2017年~ GigaViewer for Apps 2021年~ GigaViewerが採用されたマンガサービス(15社・21サービス / 2023年2月時点)
はてなの事業 | テクノロジーソリューションサービス 株式会社集英社との協業サービス マンガノ 株式会社集英社との共同開発 ジャンプルーキー! あしたのヤングジャンプ マンガ投稿・販売プラットフォーム(Web) マンガ投稿・公開サービス(Web/アプリ)
マンガ投稿・公開サービス(Web)
はてなの事業 | テクノロジーソリューションサービス 株式会社KADOKAWAとの共同開発 カクヨム 小説投稿・収益還元プラットフォーム(Web / アプリ) エンタテインメントサイト(Web) リニューアル開発・運用支援
魔法のiらんど
はてなの事業 | テクノロジーソリューションサービス 任天堂株式会社のゲーム連動サービスのデザイン、サービス企画、サービス開発に協力 スマプラス イカリング2/イカリング3 Nintendo Switch™ソフト「大乱闘スマッシュブラザーズ SPECIAL」 (発売元:任天堂株式会社)のゲーム連動サービス Nintendo
Switch™ソフト「スプラトゥーン2」 (発売元:任天堂株式会社)のゲーム連動サービス ※Nintendo Switchは任天堂の商標です。 イカリング2 © 2017 Nintendo 大乱闘スマッシュブラザーズ SPECIAL / スマプラス © 2018 - 2019 Nintendo Original Game: © Nintendo / HAL Laboratory, Inc. Characters: © Nintendo / HAL Laboratory, Inc. / Pokémon. / Creatures Inc. / GAME FREAK inc. / SHIGESATO ITOI / APE inc. / INTELLIGENT SYSTEMS / Konami Digital Entertainment / SEGA / CAPCOM CO., LTD. / BANDAI NAMCO Entertainment Inc. / MONOLITHSOFT / CAPCOM U.S.A., INC. / SQUARE ENIX CO., LTD. / ATLUS / Microsoft / SNK CORPORATION. / Mojang AB / Disney イカリング3 © Nintendo Nintendo Switch™ソフト「スプラトゥーン3」 (発売元:任天堂株式会社)のゲーム連動サービス
9 はてな=サブカル
10 今日の話
11 Cache Stampede
Cache Stampedeとは 12 • 異世界ダンジョンでお馴染みのスタンピード ◦ 押し寄せる様子。殺到する ◦ 日本では「Thundering Herd」の方が馴染みかも?
▪ Kazuho@Cybozu Labs: キャッシュシステムの Thundering Herd 問題 (2007)
Cache Stampedeの別名 • Thundering Herd ◦ 雷鳴のように鳴り響く群れ • Dog Piling
◦ 犬の積み重ね ◦ 人間が積み重なる野球の乱闘状態もDog Pile 13
Cache Stampedeとは 14 cache origin cacheで返せていたresponseが
Cache Stampedeとは 15 cache origin cacheが切れたら、originに殺到する
Cache Stampedeとは 16 cache origin originに大量に来るとoriginが死ぬ
Cache Stampedeとは 17 cache origin 新たなcacheとなるresponseを 返せないので、ずっと死に続ける
はてな×Cache 18
• CacheはRead Heavyなサービスに向く ◦ Write Heavyだとキャッシュしづらい • UGCはだいたいRead Heavy ◦
書く人は読む人の1/10も居ない • はてなと言えばUGC ◦ 20年間Cacheと一緒に生きてきました はてな×Cache 19
20 今日は主にマンガでの Cacheの話をします
マンガ×Cache 21 • TOPページは雑誌の顔 • 定期更新 ◦ 毎日だったり毎週だったり ◦ 例:ジャンプ33号→34号
• 0時や12時に切り替える
• 0時に一斉に切り替える ◦ 一斉にキャッシュを飛ばすということ • ユーザさんは更新を待っている ◦ F5連打状態。0時はアクセスが増える • アクセス増の中でキャッシュを飛ばす……?
マンガ×Cache 22
23 Stampede発生!
• Q: 昨今はクラウドだし耐えられない? • オートスケーリングは入れている ◦ 負荷に合わせて自動で増やすとか ◦ 更新直前にスケジュールで増やすとか •
とはいえStampedeは避けたい マンガ×Cache 24
Cache Stampede対策 25
• Locking • External recompute • PER (Probabilistic early recomputation)
• SWR (Stale-While-Revalidate) Cache Stampede対策 26
• Locking • External recompute • PER (Probabilistic early recomputation)
• SWR (Stale-While-Revalidate) Cache Stampede対策 27
Locking 28 cache origin originに大量に来るとoriginが死ぬ
Locking 29 cache origin originに1リクエストだけ通す ① ② ③ ④ ①
Locking 30 cache origin 残りは待たせておく ① ① ② ③ ④
Locking 31 cache origin responseが返ってきたらcacheして まとめて返す ① ③ ② ④
• Varnishがデフォルトでこの挙動 • CDNも同じ動きをする ◦ Edgeの数だけ貫通することも ◦ originは貫通してくるreq数に耐える必要がある Locking 32
• Locking • External recompute • PER (Probabilistic early recomputation)
• SWR (Stale-While-Revalidate) Cache Stampede対策 33
External recompute 34 cache origin ユーザリクエスト起因のresponseを キャッシュするのではなく
External recompute 35 cache origin 別プログラムからキャッシュを 定期的に更新し続ける external
External recompute 36 cache origin originを使うかもしれない external
• キャッシュを消さない! ◦ キャッシュが切れるからStampedeになるので、 キャッシュは切らさない。更新し続ける • cronでキャッシュを作るのが定番 External recompute 37
• 時間ぴったりに更新したい要求には弱い ◦ recomputeに時間が掛かるからキャッシュしている ◦ 0:00のcronで動いたら0:01にやっと更新されるとか • CDNのようなキャッシュだと実現しづらい ◦ リクエストに対するレスポンスをキャッシュするため
External recompute 38
• 外部連携でよく使う ◦ 外部サービスが落ちていると タイムアウトまで待ちがち ◦ 本体に影響が出ないようにする • responseを全てキャッシュする External
recompute 39 YouTube Instagram Blog
Cache Stampede対策 • Locking • External recompute • PER (Probabilistic
early recomputation) • SWR (Stale-While-Revalidate) 40
Probabilistic early recomputation 41 cache origin キャッシュが切れそうになったら確率的に originに通して、キャッシュを更新する
Probabilistic early recomputation 42 cache origin 最適な確率を計算するxfetchという アルゴリズムもある(らしい)
• 時間ぴったりに更新したい要求には弱い ◦ 0:00に更新したいページで23:59に生成しても まだ先週のコンテンツが表示されている ◦ expireを0:01にして0:00〜0:01の間に確率的に更新 することになる? Probabilistic early
recomputation 43
• Locking • External recompute • PER (Probabilistic early recomputation)
• SWR (Stale-While-Revalidate) Cache Stampede対策 44
• Stale ◦ 期限切れ (expired) なキャッシュのこと • Revalidate ◦ まだ有効か確認する。ダメなら最新化する?
• Stale-While-Revalidate ◦ 最新の生成物が届くまで期限切れのキャッシュを使う Stale-While-Revalidate 45
• staleキャッシュを返 しつつ、非同期に revalidateリクエスト Stale-While-Revalidate 46 https://yusukebe.com/posts/2021/varnish-stale-while-revalidate/
• HTTP Response Headerでも規定されている ◦ RFC 5861 ◦ https://developer.mozilla.org/en-US/docs/Web/ HTTP/Headers/Cache-Control
◦ Cache-Control ヘッダの値に使う Stale-While-Revalidate 47
• VarnishはGraceモードで実現できる ◦ Fastlyももちろん実現可能 • CDNにも実装されている ◦ Google Cloud CDN、CloudflareはHTTPヘッダに対応
◦ CloudFrontにも最近実装された (2023-05) ▪ Amazon CloudFront now supports stale-while-revalidate and stale-if-error cache control directives Stale-While-Revalidate 48
• https://github.com/vercel/swr も有名 ◦ フロントエンドのデータフェッチライブラリ ▪ Stale-While-Revalidateを実装してあり、いい感じになる Stale-While-Revalidate 49
• stale済みのキャッシュをまだ使える? ◦ originが落ちているときにも有効 • originが落ちているとき、エラーを返すのと 古いキャッシュを返すのと、どちらが良いか ◦ SWRは古すぎる場合にはエラーとなるが Stale-While-Revalidate
50
我々はどうしているか 51
52 未来時間 × ダブルバッファリング
• タイムトラベルして未来のデータを取得する ◦ 時限式のコンテンツを事前に動作確認できる ◦ 明日のトップページとか、キャンペーン開始後のバ ナー表示とか価格とか ◦ 「現在時刻」を外部入力とする設計と、その実装のこ と
- クックパッド開発者ブログ 未来時間 53
ダブルバッファリング • 古のゲームでよく使われていた手法 • バッファを2つ持ち、表示していない方のバッ ファに対して演算しつつ描画する • 表示は描画済みのバッファを表示するだけ ◦ 高速に切り替えられる
54
• 未来のデータを裏でキャッシュしておく • 時間になったら事前に計算済みのキャッシュ を表示する 未来時間×ダブルバッファリング 55
未来時間×ダブルバッファリング 56 12:00-12:15 のcache 12:15-12:30 のcache キャッシュ 作成さん 現在の コンテンツ
未来時間の コンテンツ 12:00 12:15 12:30
まとめ 57
• Cache Stampedeという現象 ◦ リクエストが一斉にoriginに押し寄せてしまう ◦ originを守る様々なテクニックが必要になる • 期限が切れたキャッシュの扱いに着目する ◦
stale済みでも使える場合がある • 時間ぴったりに更新するために試行錯誤した まとめ 58