gob バイナリが Go バージョンによって 出力が変わることについて調べてみた / Investigating How gob Binary Output Changes Across Go Versions

Asakusa.go #3 での発表資料です

Transcript

1. gob バイナリが Go バージョンによって 出力が変わることについて調べてみた 2024/09/13 Asakusa.go #3
2. 自己紹介 @convto 株式会社LayerX所属 (読みはこんぶとです)
3. gob ってなに？ - Go が標準パッケージで実装してる独自のエンコーディング！ - 仕様とかくわしく知りたい人はこちらをご覧ください https://speakerdeck.com/convto/understanding-gob-encoding - きょうは 5min LT なので全員完全理解者だと思って話を進めます
4. ある日知人から以下のタレコミをうける
5. タレコミ - なんか Go のバージョンによって gob の出力が異なるんだけど - marshal/unmarshal 間の互換性はありそう - どこで変わったんだろうね
6. 確認してみる
7. 確認してみる
9. cnt: 36 id: -64 cnt: 12 id: 64 cnt: 37 id: -65 cnt: 12 id: 65
10. なんか typedef / value の id がずれてそう - たしかに出力は変わっている - id の値が変わっている - id = 65 だと typedef がちょうど 1byte で表現できないため、古い方は ちょっと勿体無い - 先頭 1bit が終端判定、末尾 1bit が正負判定。値が 6bit で収まる なら 1byte で表現できる。65 はちょうどたりない
11. どこで入った？ - 霊感で 1.21 まで比べてみたら 1.23 と一致してた $ diff -s <(go1.21.0 run main.go) <(go1.23.0 run main.go) Files /dev/fd/11 and /dev/fd/12 are identical - 1.20.1 系では挙動に差がない $ diff -s <(go1.20.1 run main.go) <(go1.20.14 run main.go) Files /dev/fd/11 and /dev/fd/12 are identical - 1.21 に上がる時に入っているはず！
12. 見つけた！ https://go-review.googlesource.com/c/go/+/460543/4 /src/encoding/gob/type.go#b184
13. id ずれた理由 - firstUserId = 64 が定義されてて user 定義の型は id = 64 から始ま る - とりあえず nextId +1 から確保してたのが止まって 64 から使えるように なったという話っぽい！
14. スッキリ
15. 知人に伝えて平和が訪れた
16. 感想 - marshal/unmarshal の互換を担保した上で encoded な値が変わるこ とはちょいちょいある - よくあるのはフィールド順番担保されないとか。今回は typeid が揃わな かった - encoded な値に対して一致するか確認する、みたいな処理は秘孔をつく 可能性があるのでやめておきましょう
17. ご清聴ありがとうございました