Map のパフォーマンス向上のために検討されている SwissTable を理解する

by ANDPAD inc

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2024 ANDPAD All Rights Reserved. アジェンダ 6 ● 既存のMap実装 ○ 概要 ○ データ登録の処理 ○ 拡張の条件と方法 ● SwissTable ○ 概要 ○ データ登録の処理 ○ 拡張の条件と方法 ● GoのMap実装をSwissTableに置き換える提案について ○ issueでの議論 ○ Extendible hashing ● Extendible hashingと組み合わせたSwissTable

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2024 ANDPAD All Rights Reserved. 値の登録(1): bucketの特定 hash("andpad") => 9272642789133235399 keyのハッシュ値を計算し bucket数に応じた値とAND演算をすることで使用するbucketを決定 11 ２進数で 1000000010101111000010110111110011110111010111111011010011000111 m := make(map[string]int, 10) m["andpad"] = 1

Slide 12

Slide 12 text

© 2024 ANDPAD All Rights Reserved. 値の登録(1): bucketの特定 hash("andpad") => 9272642789133235399 keyのハッシュ値を計算し bucket数に応じた値とAND演算をすることで使用するbucketを決定 12 ２進数で 1000000010101111000010110111110011110111010111111011010011000111 bucketの配列 bucketが2個の場合 9272642789133235399 & 1 = 1 0 1 m := make(map[string]int, 10) m["andpad"] = 1

Slide 13

Slide 13 text

© 2024 ANDPAD All Rights Reserved. 値の登録(1): bucketの特定 hash("andpad") => 9272642789133235399 keyのハッシュ値を計算し bucket数に応じた値とAND演算をすることで使用するbucketを決定 13 ２進数で 1000000010101111000010110111110011110111010111111011010011000111 bucketが4個の場合 9272642789133235399 & 3 = 3 bucketの配列 0 1 2 3 m := make(map[string]int, 10) m["andpad"] = 1

Slide 14

Slide 14 text

© 2024 ANDPAD All Rights Reserved. 値の登録(2): tophashを計算上位8bitを取り出したいので56bit分右シフトし、tophashを計算 9272642789133235399 >> 56 = 128 hash("andpad") => 9272642789133235399 14 ２進数で 1000000010101111000010110111110011110111010111111011010011000111

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): bucket内を確認 key: "andpad" tophash: 128 tophash key value 10 "foo" 1 128 "bar" 2 128 "andpad" 0 0 0 0 0 0 bucketの中を上から確認していく tophash,keyともに一致している valueを更新して終わり 19

Slide 20

Slide 20 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): bucket内を確認 key: "andpad" tophash: 128 tophash key value 10 "foo" 1 128 "bar" 2 128 "andpad" 1 0 0 0 0 0 bucketの中を上から確認していく tophash,keyともに一致している valueを更新して終わり 20

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): bucket内を確認 key: "andpad" tophash: 128 tophash key value 10 "foo" 1 128 "andpad" 1 0 0 0 0 0 0 bucketの中を上から確認していく tophashが0の要素があった場合、それ以降には空の要素しかないその場合そこを使用する 22

Slide 23

Slide 23 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): bucket内を確認 key: "andpad" tophash: 128 tophash key value 10 "foo" 1 92 "bar" 2 120 "baz" 3 75 "qux" 4 3 "quux" 5 59 "corge" 6 83 "grault" 7 65 "garply" 8 すべての箇所が埋まっている場合はbucketの後ろにbucekt を追加し、そちらに登録する追加したbucketはoverﬂow bucketと呼ばれている 23

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2024 ANDPAD All Rights Reserved. overﬂow bucketが増えるとどうなるか tophash key value 10 "foo" 1 92 "bar" 2 120 "baz" 3 75 "qux" 4 3 "quux" 5 59 "corge" 6 83 "grault" 7 65 "garply" 8 tophash key value 59 "waldo" 9 95 "fred" 10 73 "plugh" 11 85 "xyzzy" 12 5 "thud" 13 24 "hoge" 14 51 "fuga" 15 87 "piyo" 16 tophash key value 128 "andpad" 0 0 0 0 0 0 0 0 "andpad"の値を取得・更新するためには少なくとも17回 tophashの比較が必要 => overﬂow bucketが増えてくると取得・更新に必要な処理が増えるためある程度でbucketを増やす必要がある 26

Slide 27

Slide 27 text

© 2024 ANDPAD All Rights Reserved. mapの拡張の条件 ● 使用している箇所がbucket数に応じた閾値を超えた場合 ○ bucket数を2倍にする ● overflow bucketの数が閾値を超えている場合 ○ bucket数は変更せず、bucketを作り直し再配置する => この条件は削除操作が多くないと発生しない 27 bucket数に応じた閾値はoverflow bucketを使用しないで格納できる要素数の 80%のこと ● bucket数が2なら13 ● bucket数が4なら26 overflow bucketの数の閾値は2BでBはbucket数のlog 2 ● bucket数が2ならB=1で閾値は2 ● bucket数が4ならB=2で閾値は4

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© 2024 ANDPAD All Rights Reserved. 拡張後の取得 // 使用するbucketを特定 m := bucketMask(h.B) b := (*bmap)(add(h.buckets, (hash&m)*uintptr(t.BucketSize))) // 古いbucketがある場合の対応 if c := h.oldbuckets; c != nil { // 拡張前ではどのbucketか計算 m >>= 1 oldb := (*bmap)(add(c, (hash&m)*uintptr(t.BucketSize))) // 移動前の場合は古いbucketを使用　if !evacuated(oldb) { b = oldb } } 1. bucketを特定 2. 古いbucketがある場合 a. 拡張前のbucket配列のどのbucketか特定 b. bucketが移動前の場合そちらのbucketを使用 29 https://github.com/golang/go/blob/go1.22.4/src/runtime/map.go#L419-L430

Slide 30

Slide 30 text

© 2024 ANDPAD All Rights Reserved. 拡張後の取得 // 使用するbucketを特定 m := bucketMask(h.B) b := (*bmap)(add(h.buckets, (hash&m)*uintptr(t.BucketSize))) // 古いbucketがある場合の対応 if c := h.oldbuckets; c != nil { // 拡張前ではどのbucketか計算 m >>= 1 oldb := (*bmap)(add(c, (hash&m)*uintptr(t.BucketSize))) // 移動前の場合は古いbucketを使用　if !evacuated(oldb) { b = oldb } } 1. bucketを特定 2. 古いbucketがある場合 a. 拡張前のbucket配列のどのbucketか特定 b. bucketが移動前の場合そちらのbucketを使用 30 https://github.com/golang/go/blob/go1.22.4/src/runtime/map.go#L419-L430

Slide 31

Slide 31 text

© 2024 ANDPAD All Rights Reserved. 拡張後の取得 // 使用するbucketを特定 m := bucketMask(h.B) b := (*bmap)(add(h.buckets, (hash&m)*uintptr(t.BucketSize))) // 古いbucketがある場合の対応 if c := h.oldbuckets; c != nil { // 拡張前ではどのbucketか計算 m >>= 1 oldb := (*bmap)(add(c, (hash&m)*uintptr(t.BucketSize))) // 移動前の場合は古いbucketを使用　if !evacuated(oldb) { b = oldb } } 1. bucketを特定 2. 古いbucketがある場合 a. 拡張前のbucket配列のどのbucketか特定 b. bucketが移動前の場合そちらのbucketを使用 31 https://github.com/golang/go/blob/go1.22.4/src/runtime/map.go#L419-L430

Slide 32

Slide 32 text

© 2024 ANDPAD All Rights Reserved. 拡張後の登録 bucket := hash & bucketMask(h.B) if h.growing() { growWork(t, h, bucket) } func growWork(t *maptype, h *hmap, bucket uintptr) { // 使用するbucketを移動 evacuate(t, h, bucket&h.oldbucketmask()) // 移動が終わっていないbucketを1つ移動 if h.growing() { evacuate(t, h, h.nevacuate) } } 32 1. bucketを特定 2. 拡張中の場合データを移動 3. 移動が終わっていないbucketを 1つ移動 https://github.com/golang/go/blob/go1.22.4/src/runtime/map.go#L609-L612 https://github.com/golang/go/blob/go1.22.4/src/runtime/map.go#L1140-L1149

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© 2024 ANDPAD All Rights Reserved. 既存実装のまとめ ● bucketのリストがあり、1bucketあたり8個の要素を格納できる ○ bucketがいっぱいの場合、そのbucketの後ろにbucketを追加する ● map容量の80%以上使用した場合にbucketの数を増やす ● bucketの数を増やしたタイミングでは既存のデータの再配置は実施せず、更新するタイミングで再配置を行うことで段階的な拡張を実現している 37

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© 2024 ANDPAD All Rights Reserved. SwissTableとは ● ハッシュマップの実装の1つ ○ abseil(Googleが公開したC++のライブラリ)やRustで使用されている ● チェイン方式ではなく、オープンアドレス方式 ● 1要素あたり、1ビットの制御ビットとハッシュの下位7ビットを合わせて 8bit分の追加情報を持つ ● 8 or 16要素分の追加情報をまとめてmetadataとして扱い、まとめてマッチングを行う ○ このマッチングにSIMD命令使用 ■ SIMD命令を使わない場合はビット演算で代用 39

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

© 2024 ANDPAD All Rights Reserved. 値の登録(1): groupの特定 keyのハッシュ値を計算し H1とgroup数に応じた値とAND演算をすることでgroupを特定 hash("andpad") => 9272642789133235399 1000000010101111000010110111110011110111010111111011010011000111 groupが2つの場合 100000001010111100001011011111001111011101011111101101001 & 1 = 1 groupが4つの場合 100000001010111100001011011111001111011101011111101101001 & 11 = 1 43

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): group内の探索 10 71 120 71 254 85 128 128 metadata 一致した候補を確認し、keyが一致した場合はそのスロットを更新 47 keyを確認し、一致しているので更新空削除済み key value "foo" 1 "bar" 2 "baz" 3 "andpad" 1 "qux" 5

Slide 48

Slide 48 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): group内の探索 10 71 120 254 254 85 128 128 metadata keyが一致するものがないかつ、group内に空のスロットがある場合そこを使用 48 空のスロットを使用空削除済み key value "foo" 1 "bar" 2 "baz" 3 "qux" 5 "andpad" 1

Slide 49

Slide 49 text

Slide 50

Slide 50 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): group内の探索 10 71 120 254 254 85 254 254 metadata keyが一致するものがないかつ、group内に空のスロットがない場合は次のgroupを調べる次のgruopでkeyが一致するものがあった場合は更新 84 254 254 90 71 85 128 128 group0 group1 50 metadata 空削除済み key value "waldo" 9 "zyzzy" 12 "andpad" 1

Slide 51

Slide 51 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): group内の探索 10 71 120 254 254 85 254 254 metadata keyが一致するものがないかつ、group内に空のスロットがない場合は次のgroupを調べる次のgruopでkeyが一致するものがないかつ、空きがある場合は最初のgroupから空き or 削除済みを探し最初に見つけた箇所を使用する 84 254 254 90 71 85 128 128 group0 group1 51 metadata 空削除済み key value "waldo" 9 "zyzzy" 12 "andpad" 1

Slide 52

Slide 52 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): group内の探索 10 71 120 254 254 85 254 254 metadata keyが一致するものがないかつ、group内に空のスロットがない場合は次のgroupを調べる次のgruopでkeyが一致するものがないかつ、空きがある場合は最初のgroupから空き or 削除済みを探し最初に見つけた箇所を使用する 84 254 254 90 71 85 128 128 group0 group1 52 metadata 空削除済み key value "foo" 1 "bar" 2 "baz" 3 "andpad" 1 "qux" 5

Slide 53

Slide 53 text

© 2024 ANDPAD All Rights Reserved. 値の登録(3): group内の探索 1. group内に一致するものがある a. 更新する 2. 一致するものがない a. 空きがない i. 次のgroupへ b. 空きがある i. 最初のgroupの場合 and 追加しても使用量が閾値を超えない 1. 空いている箇所を使用する ii. 最初のgroupではない or 追加した場合に使用量が閾値を超える 1. 最初のgroupから調べなおし、空き or 削除済みを探す a. 空きを見つけた and 追加しても容量が閾値を超えない i. 空いている箇所を使用する b. 削除済みを見つけた i. そこを使用する 53

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

© 2024 ANDPAD All Rights Reserved. SwissTableとは ● ハッシュマップの実装の1つ ● チェイン方式ではなく、オープンアドレス方式 ● 1要素あたり、1ビットの制御ビットとハッシュの下位7ビットを合わせて 8ビットのメタデータをもつ ● メタデータを8 or 16要素分をグループとして扱い、まとめてマッチングを行うことで効率化 ● 容量の7/8を使用したら容量を倍にし、すぐに再配置を行う ○ 1つのgroupが2つのgroupに分割できるわけではないのでまとめて再配置を行う必要がある 56

Slide 57

Slide 57 text

Slide 58

Slide 58 text

© 2024 ANDPAD All Rights Reserved. 議論されているissueでのやり取り抜粋 https://github.com/golang/go/issues/54766 ランタイムのマップの実装をSwissTableを使用したものに置き換える提案提案時点で実装では要素数が少ないパターン以外でパフォーマンスが向上している ByteDanceではGoのサービスのCPU消費の約4%はハッシュマップでの消費のためパフォーマンス向上の意味が大きい 58

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

© 2024 ANDPAD All Rights Reserved. Extendible hashingの適用 dir(GlobalDepth = 1) 0 1 65 bucketA bucketB Local depth = 1 Local depth = 1 容量がいっぱいになったbucketのみを分割する => mapの拡張のタイミングでの再配置は実施することは変わらないが、再配置する範囲が限定されるようになった

Slide 66

Slide 66 text

© 2024 ANDPAD All Rights Reserved. Extendible hashingの適用 dir(globalDepth = 2) 00 01 10 11 66 bucketA-0 bucketB 容量がいっぱいになったbucketのみを分割する => mapの拡張のタイミングでの再配置は実施することは変わらないが、再配置する範囲が限定されるようになった bucketA-1 Local depth = 2 Local depth = 1

Slide 67

Slide 67 text

© 2024 ANDPAD All Rights Reserved. mapの拡張条件 ● 容量の7/8が埋まった ○ 削除済みマークの数が容量の1/3以上 ■ 削除済みマークを取り除いて再配置 ○ 容量を倍にした値がbucketの最大サイズを超える ■ bucketを分割し、再配置 ○ 容量を倍にした値がbucketの最大サイズを超えない ■ bucketのサイズを倍にして(groupの数を倍にする)再配置 67 ベンチマークに基づいて導入

Slide 68

Slide 68 text

© 2024 ANDPAD All Rights Reserved. mapの拡張条件 func (b *bucket[K, V]) rehash(m *Map[K, V]) { if b.capacity > groupSize && b.tombstones() >= b.capacity/3 { b.rehashInPlace(m) return } newCapacity := 2 * b.capacity if newCapacity > m.maxBucketCapacity { b.split(m) return } b.resize(m, newCapacity) } 68 削除済みマークの数が容量の1/3以上容量を倍にした値が bucketの最大サイズを超える容量を倍にした値が bucketの最大サイズを超えない https://github.com/cockroachdb/swiss/blob/main/map.go#L1028-L1057

Slide 69

Slide 69 text

Slide 70

Slide 70 text

© 2024 ANDPAD All Rights Reserved. まとめ ● GoのMap実装として検討されているSwissTableを紹介 ○ オープンアドレッシング方式 ○ metadataを持ち、それを利用して8 or 16要素分をまとめてフィルタ ○ オリジナルのSwissTableの実装では段階的に拡張ができないため Goの既存のユースケースへの影響が大きい ■ Extendible hashingを使うことで段階拡張できるようする実装が検討されている ● issueのステータス ○ 実装途中(Extendible hashingとSIMD実装はまだ) ○ コンパイラミーティングでも触れられており、採用される可能性はありそう ○ 外部ライブラリで既存Mapの非公開フィールドに依存している箇所があり、それに対する対応も課題として挙げられている ● 既に場合cockroachdbのswissテーブル実装があるのでそちらが使える https://github.com/cockroachdb/swiss 70

Slide 71

Slide 71 text

Slide 72

Slide 72 text

© 2024 ANDPAD All Rights Reserved. 参考文献 ● SwissTable ○ runtime: use SwissTable: https://github.com/golang/go/issues/54766 ○ CppCon 2017: Matt Kulukundis “Designing a Fast, Eﬃcient, Cache-friendly Hash Table, Step by Step”: https://www.youtube.com/watch?v=ncHmEUmJZf4 ○ https://github.com/cockroachdb/swiss ○ Swiss Tables Design Notes: https://abseil.io/about/design/swisstables ○ Swisstable, a Quick and Dirty Description: https://faultlore.com/blah/hashbrown-tldr/ ○ Extendible hashing: https://en.wikipedia.org/wiki/Extendible_hashing ○ Swisstable Hash に使われているビット演算の魔術:https://methane.hatenablog.jp/entry/2022/02/22/Swisstable_Hash_に使われているビット演算の魔術 72

Slide 73

Slide 73 text

© 2024 ANDPAD All Rights Reserved. 参考文献 ● 既存実装 ○ map.go: https://github.com/golang/go/blob/master/src/runtime/map.go ○ 【Go】Mapの内部構造とO(1)のメカニズム: https://zenn.dev/smartshopping/articles/5df9c3717e25bd ○ How the Go runtime implements maps eﬃciently (without generics): https://dave.cheney.net/2018/05/29/how-the-go-runtime-implem ents-maps-eﬃciently-without-generics 73