Slide 17
Slide 17 text
17
Simple Cache Service (SCS)と、
その苦労話の一例
ここでHash
アルゴリズム変更
深層学習のための分散キャッシュシ
ステム - Preferred Networks Tech
Blog
データセット読み込み等を補助するための
Simple Cache Service を提供
深層学習のための分散キャッシュシステム -
Preferred Networks Tech Blog
Podのライフサイクルを跨いで高速な永続ストレージへのアクセ
スを実現するデータキャッシュの仕組み: SCSを提供しています。
Topology Aware Hints を利用したL3負荷分散、Consistent
Hashing によるL7負荷分散などを通して、システム全体での高
速化を実現しています。
運用開始当初では負荷・オブジェクトの偏りが観測されたため、
偏りを減らすことが可能な MAGLEVを用いた分散とする等の改
善活動も実施しています。