Goのmapとheapを自作してみた / How to create your own map and heap in Go

GoのMapとHeapを自作してみた @DQNEO (どきゅねお) 2019/2/25 mercari.go

コンパイラをゼロから自作してます。 https://github.com/DQNEO/minigo

が動くようになった！ / https://twitter.com/DQNEO/status/1088422242772381697

どうやって作ったのか

• • GoのMap おさらい • • •

GoのMap Key: 任意の型 Value: 任意の型要素数：任意

GoのMap 任意の型のと任意の型のを任意の数だけ格納できるナニカ

どこから手を付ければ

自作コンパイラ３原則小さくはじめる動けば正義遅くても気にしない

小さくはじめる

↓ とにかくハードルを下げるまずは型は int のみ

m = map [int]int { 1: 2, 3: 4, }
とにかくハードルを下げる要素数も固定

とにかくハードルを下げる 1 2 3 4 メモリ上に数値が並んでるだけ

これなら作れそう！

m = map [int]int { 1: 2, 3: 4, }
map[int]int 1 2 3 4 メモリ上に8byteずつ値を並べる

x = m[3] map get 1 2 3 4 keyを16byteずつホップしながら探索
マッチしたらその右隣の値を返す

Keyの探索 (X86-64の例) emit("mov %%r13, %%rax") // i emit("imul $16, %%rax")
// i * 16 emit("mov %%r10, %%rcx") // head emit("add %%rax, %%rcx") // head + i * 16 emit("mov (%%rcx), %%rdx") // eval key value 16byteずつホップしながらkeyを探索

マッチしたKey位置から Valueを取得 emit("mov 8(%%rcx), %%r15") // get value of value
emit("jmp %s", labelEnd) key値がマッチしたら、 8bytes隣のvalue値を取り出して探索ループを脱出する

map get 実装の詳細はこちら https://github.com/DQNEO/minigo/commit/9f0cef573 d772d67a0efc8fa88c78b185743ea40#diff-fa95711d 3528c54a10a4bd5a3303bf8cR1443

map set 前述のようにKeyの探索を行う Keyが存在する？ Yes -> その位置+8bytesの場所に値を書き込む。 No -> データ領域の末尾にKey,Valueを追記。(後述)

for range構文 for k,v := range m { ... }

for range構文 for k,v := range m { ... }
for i:=0, i<len(m), i++ { k := mData[ i * 16] v := m[v] } 構文木を書き換えて、普通のfor文に変換する

を作る

を作るに追記するには動的なメモリ確保が必要を実装するのはチョットむずい疑似でお茶を濁す

疑似静的グローバル配列をheapに見立て、そこからメモリを必要なだけ切り取る

疑似の利点メモリ開始アドレスが固定なのでデバグしやすい

これでへの要素追加が可能に

↓ 型を汎用化したい

1 "hello" 3 "world" valueのサイズが可変 → むずい

1 &s1 3 &s2 1 &i1 3 &i2 値のアドレスを格納する値自体はheapに置き、そのアドレスをmap領域に書
き込む。 valueのサイズは8bytesのままなので、今までの mapロジックをほぼそのまま使える

mov (%rax), %rax Valueのデリファレンス値を取り出した直後に1度デリファレンスするだけ

"hello" "world" "こんにちわ" "世界" keyの型も汎用にしたい

&s1 &s2 &s3 &s4 keyも同様にアドレスを登録する

これで動くが作れた

の実装全体はこんな感じ https://github.com/DQNEO/minigo/compare/3 654b7c283a01efd273a336188fd13ab10dbdf6 e...3f6ce0773dd9bd7a233b2278f8911a5253f 90999

おまけ簡単そうに言っているが、動的アドレス計算を駆使するので、一歩間違えると Segmentation fault 地獄

おかげで gdb が使えるようになりましたおまけ

おまけこのmapの仕組みを使えば、"interface"機能も実現できる。(できた)

Goのmapとheapを自作してみた / How to create your own map...

Goのmapとheapを自作してみた / How to create your own map and heap in Go

More Decks by DQNEO

Other Decks in Programming

Featured

Transcript