今更だけどGob

Jun 21 2017 CA.go

Transcript

1. 今更だけどGob 21 June 2017 小久保駿 AWA 株式会社
2. Agenda Gob って? encoding/xxxx は? protobuf は？ 注意点
3. 自己紹介 小久保 駿 AWA 株式会社 サーバーフロントエンド、バックエンド 2014 年の立ち上げよりGolang を利用 現在はRecommendation 周りを開発
4. Golang in AWA サーバーサイド全般がGolang API, データ連携, ログ集計, データ収集…etc Recommendation 以外はほとんどGolang 大きなファイルを読み込んでDB に入れるbatch も
5. KVS? File? // bolt/boltdb db.Update(func(tx *bolt.Tx) error { b := tx.Bucket([]byte("anyBucket")) err := b.Put([]byte("key"), []byte("value")) return nil }) // syndtr/goleveldb err = db.Put([]byte("key"), []byte("value"), nil) // allegro/bigcache cache.Set("key", []byte("value")) そこでGob
6. Gob? gob 形式のバイナリ変換 RPC のようなNW 経由でのデータのやり取り ファイルへのデータ保存 データ定義不要,self-describing, 効率的 (Gobs of data より) (https://blog.golang.org/gobs-of-data) 構造変更が可能
7. 使い方 var buf bytes.Buffer enc := gob.NewEncoder(&buf) dec := gob.NewDecoder(&buf) e := Data{ ID: "test_id", Num: 100, } var d Data enc.Encode(e) dec.Decode(&d) fmt.Printf("%+v", d) Run
8. 使い方 var buf bytes.Buffer enc := gob.NewEncoder(&buf) dec := gob.NewDecoder(&buf) var e int e = 100 var d int enc.Encode(e) dec.Decode(&d) fmt.Println(d) Run
9. 定義不要 type wireType struct { ArrayT *arrayType SliceT *sliceType StructT *structType MapT *mapType GobEncoderT *gobEncoderType BinaryMarshalerT *gobEncoderType TextMarshalerT *gobEncoderType }
10. 定義不要 type CommonType struct { Name string Id int } type arrayType struct { CommonType Elem typeId Len int } type sliceType struct { CommonType Elem typeId } type structType struct { CommonType Field []*fieldType } type fieldType struct { Name string Id int } 全てName とID を持つCommonType を埋め込みで持つ
11. Self describing type Example struct { ID string Num int Value interface{} } Example というType を定義すると binary に定義情報が含まれる ("define type id" 256, definition of type Example)(256, Example value)...
12. Self describing 実際のbinary もこの様な形となる $ hexdump -C example.bin 00000000 2e ff 81 03 01 01 07 45 78 61 6d 70 6c 65 01 ff |.......Example..| 00000010 82 00 01 03 01 02 49 44 01 0c 00 01 03 4e 75 6d |......ID.....Num| 00000020 01 04 00 01 05 56 61 6c 75 65 01 10 00 00 00 22 |.....Value....."| 00000030 ff 82 01 0a 65 78 61 6d 70 6c 65 5f 69 64 01 ff |....example_id..| 00000040 c8 01 06 73 74 72 69 6e 67 0c 06 00 04 74 65 73 |...string....tes| 00000050 74 00 |t.| 00000052 CommonType を含むwireType によって表現される 各type のID と eld 情報
13. 構造変更が可能 type Src struct { ID string Score float64 Num int } type Dest struct { ID *string Score float32 Order int } encode,decode 側のtype, eld が違っても
14. 構造変更が可能 値の扱われ方に特徴がある var buf bytes.Buffer enc := gob.NewEncoder(&buf) dec := gob.NewDecoder(&buf) s := Src{ ID: "test_id", Num: 100, Score: 1.23, } var d Dest enc.Encode(s) dec.Decode(&d) fmt.Printf("%+v\n", d) fmt.Println(*d.ID) Run
15. 構造変更が可能 存在する eld だけが使われる 値はEncode でその型のunsized な値になる Decode ではその型のsize に合わせられる ptr も場合も同様にその値が扱われる
16. encoding/json は？ []byte へのEncoder,Decoder がある 両者でType が一致しなくても良い gob と使い方は変わらない？
17. ベンチで比較 type Data struct { Str string Int int64 Float float64 Bool bool } type Encoder interface { Encode(interface{}) error } type Decoder interface { Decode(interface{}) error }
18. ベンチで比較 func benchEncode(buf *bytes.Buffer, enc Encoder, b *testing.B) { b.ResetTimer() for i := 0; i < b.N; i++ { buf.Reset() err := enc.Encode(encodeData) if err != nil { b.Fatal(err) } } }
19. ベンチで比較 func benchDecode(buf *bytes.Buffer, enc Encoder, dec Decoder, b *testing.B) { var e Data b.ResetTimer() for i := 0; i < b.N; i++ { b.StopTimer() buf.Reset() err := enc.Encode(encodeData) if err != nil { b.Fatal(err) } b.StartTimer() err = dec.Decode(&e) if err != nil { b.Fatal(err) } } }
20. ベンチで比較 func BenchmarkGobEncode(b *testing.B) { var buf bytes.Buffer enc := gob.NewEncoder(&buf) benchEncode(&buf, enc, b) } func BenchmarkJsonEncode(b *testing.B) { var buf bytes.Buffer enc := json.NewEncoder(&buf) benchEncode(&buf, enc, b) }
21. ベンチで比較 func BenchmarkGobDecode(b *testing.B) { var buf bytes.Buffer enc := gob.NewEncoder(&buf) dec := gob.NewDecoder(&buf) benchDecode(&buf, enc, dec, b) } func BenchmarkJsonDecode(b *testing.B) { var buf bytes.Buffer enc := json.NewEncoder(&buf) dec := json.NewDecoder(&buf) benchDecode(&buf, enc, dec, b) }
22. ベンチで比較 $ go test -benchmem -bench . BenchmarkGobEncode-8 2000000 642 ns/op 48 B/op 1 allocs/op BenchmarkJsonEncode-8 2000000 946 ns/op 56 B/op 2 allocs/op BenchmarkGobDecode-8 1000000 1425 ns/op 16 B/op 1 allocs/op BenchmarkJsonDecode-8 500000 3299 ns/op 48 B/op 3 allocs/op
23. protobuf は? Struct のみ扱える シリアライズ・デシリアライズでそれぞれのNumber に対するフィールド定義は一致す る必要がある( どちらかのNumber 下位にフィールドの追加は可能) 必ずdefault value がset される (Gobs of data より) (https://blog.golang.org/gobs-of-data)
24. 注意点 interface を扱う時は… type Handler interface { GetID() string } type A struct { ID string } func (a *A) GetID() string { return a.ID }
25. 注意点 最初にRegister func main() { var buf bytes.Buffer enc := gob.NewEncoder(&buf) dec := gob.NewDecoder(&buf) var e Handler e = &A{ ID: "A", } fmt.Println(enc.Encode(&e)) var d Handler fmt.Println(dec.Decode(&d)) fmt.Println(d.GetID()) } Run
26. 注意点 ポインターで渡す func init() { gob.Register(&A{}) } func main() { var buf bytes.Buffer enc := gob.NewEncoder(&buf) dec := gob.NewDecoder(&buf) var e Handler e = &A{ ID: "A", } fmt.Println(enc.Encode(e)) var d Handler fmt.Println(dec.Decode(&d)) fmt.Println(d.GetID()) } Run
27. 注意点 func init() { gob.Register(&A{}) } func main() { var buf bytes.Buffer enc := gob.NewEncoder(&buf) dec := gob.NewDecoder(&buf) var e Handler e = &A{ ID: "A", } fmt.Println(enc.Encode(&e)) var d Handler fmt.Println(dec.Decode(&d)) fmt.Println(d.GetID()) } Run
28. 注意点 Decode 対象のデータは1Gbyte まで decoder.go にTODO として調整する旨がある
29. まとめ Golang 専用のシリアライザー 定義不要で効率的に利用可能
30. Thank you 小久保駿 AWA 株式会社