Cache Stampede 対策として セマフォを使う najeira @ Gunosy Cache Night

Cache Stampede キャッシュの有効期限切れによって オリジン(データベースなど)へ アクセスが殺到する問題 Stampede = 殺到

典型的な使い方 # キャッシュからデータを取得する data = get_cache(key) if not data: # キャッシュがなければデータベースから取得する data = get_data_from_database(...) # 新しいデータをキャッシュに保存する set_cache(key, data, ttl=60) # ユーザーにレスポンスを返す send_response(data)

アクセスが少ないと

アクセスが多いと

呼び方？ 他にも ● Cache miss storm ● Dog-piling と呼ばれたりするらしい Thundering Herdと呼ばれることも？

対策 ● ロック ● 別プロセスで定期更新 ● 確率的な期限切れ 今日はロック（セマフォ）について

有名OSSは？ ● Rails ActiveSupport::Cache::Store race_condition_ttl ● nginx proxy_cache_lock ● Varnish Grace mode いずれもロック系の対策

考え方 新しいキャッシュの作成は 「ひとりだけ」が実行すればよい 他のプロセスは、 それを待つか、 古いキャッシュを使う

ひとりだけ更新

セマフォ 並列環境での複数の実行単位が共有す る資源にアクセスするのを制御するもの。 ある資源が何個使用可能かを示す記録 で、使用や解放の際に記録を安全に書き 換え、資源が使用可能になるまで待つ操 作が結びついている。 by https://ja.wikipedia.org/wiki/セマフォ

セマフォ Webサーバは複数台に分散、 同一のサーバでも複数プロセス OSの(プログラミング言語上の) セマフォを使うことはできない。

セマフォ キャッシュが共有資源なので、 キャッシュのシステム上に セマフォを実現すればよい

Memcached Add add: データが存在しない場合のみ 保存する。

コードで見ると data = memcache.get(key_for_data) if not data: memcache.add(key_for_semaphore, 1, ttl=60) data = get_data_from_database(...) #データベースから取得 memcache.set(key_for_data, data, ttl=120) # キャッシュを保存 else: #セマフォの獲得を試みる ret = memcache.add(key_for_semaphore, 1, ttl=60) if ret: # セマフォを獲得した場合は新しいキャッシュを作る data = get_data_from_database(...) memcache.set(key_for_data, data, ttl=120) return data

ポイント セマフォ用のキーは データ用のキーより 短い有効期限にしておく セマフォ ＜ データ

ポイント addできるのはひとり ⇒オリジンへのアクセスはひとり セマフォ用のキーに有効期限がある ⇒セマフォの解放が非同期で自動 ⇒解放されると次のアクセスが新しい キャッシュを作る