ABEMAのCM配信を支えるスケーラブルな分散カウンタの実装

by Honoka Toda

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  Google Cloud 上での実装 28 Valkey Cluster は in-memory key/value store の Valkey のクラスタ構成 in-memory store なので高スループットクラスタ構成では読み書きの水平スケールが可能ホットストレージ

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  Google Cloud 上での実装 33 BigQuery は Partitioning によりスキャン範囲を減らせる Column1でPartitioningした例カラムの値によってテーブルが物理的に分割されるクエリの際は該当するPartitionしかスキャンされないイベントストレージ

Slide 34

Slide 34 text

Slide 35

Slide 35 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  Google Cloud 上での実装 35 BigQuery は Clustering によりデータの並び替えができる Column1でClusteringした例レコードがカラムの値の順序で並び替えられて配置されるスキャン範囲の最適化や集約の効率化が可能になるイベントストレージ

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  Google Cloud 上での実装 40 Spanner は比較的小規模から利用可能で低コストに使える最小単位の100Unitではコンピュート料金月$85 簡単にデプロイできるオートスケーラーがある同じSLAの場合CloudSQLで最低月$480、AlloyDBで$581 オートスケールを活用すれば比較的安価に利用できる全て東京リージョン - Spanner は Standard Edition で 100 unitsの場合 - CloudSQL は Enterprise Plus Edition で HA 構成有効、db-perf-optimized-N-2 が 1 ノードの場合 - AlloyDB は 2vCPU で HA 構成が有効の場合参考コールドストレージ

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  様々な種類のカウンターの実装 58 Valkey の Functions 機能を使うことで高速に変換できる Functions は Valkey に事前に関数を登録するとその関数を呼び出すことで指定の処理ができる機能ノード上で実行されるので、同じノードに存在しているデータのみ取り扱える時系列カウンター

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  様々な種類のカウンターの実装 61 ユニーク数を愚直に数えるには全ての値を持つ必要があるカーディナリティが高い場合にデータ量が大きくなるカウンタークライアント key1にvalue5を登録 value1 value4 +value5 key1にvalue4を登録 value1 value4 value5 既にあるので何も行わないユニークカウンター

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  さらなるスループットの向上 67 CRDT (Conﬂict-free Replicated Data Type)とは「コンフリクトの生じないデータ型」複数の場所で同じデータに対して更新が独立に行われてもそれらの変更をコンフリクトせずにマージ可能な型これを活用することで結果整合性を持たせられる

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  さらなるスループットの向上 75 GCounterとしてキーを分割することで Valkey 単体性能を超えた性能を出すことができる！ GCounterで学ぶ、CRDTによるスケーラブルな書き込み処理と結果整合性 | CyberAgent Developers Blog 以前ブログでも解説しているのでよかったら読んでください🙏

Slide 76

Slide 76 text