Dive into Go Protocol Buffers API v2 with the new reflection features

About
2020年にリリースされたGo Protocol Buffers API v2のリリースされた背景や概要について解説しています。
特に、目玉機能のReflectionに焦点をあてて、実際の使用例とともに解説しています。
Go Conference Tokyo 2021 Springの登壇資料になります。

資料内のリンク
・使用例のコード
https://github.com/sryoya/protoreflect-go-examples

・The Go Blog A new Go API for Protocol Buffers https://blog.golang.org/protobuf-apiv2

・protobuf
https://github.com/protocolbuffers/protobuf

・protoreflect https://pkg.go.dev/google.golang.org/protobuf/reflect/protoreflect

・dynamicpb
https://pkg.go.dev/google.golang.org/protobuf/types/dynamicpb

・protoc-gen-go
https://pkg.go.dev/google.golang.org/protobuf/cmd/protoc-gen-go

・protoc-gen-go-grpc
http:/pkg.go.dev/google.golang.org/grpc/cmd/protoc-gen-go-grpc

・protocmp
https://pkg.go.dev/google.golang.org/protobuf/testing/protocmp

・protojson
https://pkg.go.dev/google.golang.org/protobuf/encoding/protojson

・protogen
https://pkg.go.dev/google.golang.org/protobuf/compiler/protogen

・採用ページ
https://corporatecard.up-sider.jp/career

Transcript

1. Dive into Go Protocol
   Buffers API v2
   With the new reflection features
   Ryoya Sekino
   @Go Conference 2021 Spring
   

   View Slide

2. 2
   セッションの背景とゴール
   背景
   ゴール
   ● Go Protocol Buffers API v2が2020年にリリース
   ● v1のリリースから10年ぶりのメジャーアップデート
   ● 充実したreflection機能が公式に提供されるようになった
   ● Go Protocol Buffers API v2の概要やリリース背景を理解する
   ● 新しいreflection機能の使い方や使い道を理解する
   

   View Slide

3. Agenda
   1. Introduction
   2. What’s Protocol Buffers?
   3. What’s Go Protocol Buffers API v2?
   1. Faults in v1
   2. What v2 provides
   4. Examples using protoreflect
   1. Custom regulations for String
   2. Random message struct generator
   3
   

   View Slide

4. $whoami
   ● Ryoya Sekino /関野 涼也
   ● Software Engineer at UPSIDER, inc., leading Card Processing
   team
   ● Writing Go for 2 years as a main language
   ● Loves music, DJ’ing
   4
   1. Introduction
   sekino_pii sryoya
   

   View Slide

5. Briefly about UPSIDER
   ● 成長企業向けの法人カードを提供しているスタートアップです ⭐
   ● 金融SaaSとして企業のお金周りの課題を解決することを目指してい
   ます 🏢
   5
   1. Introduction
   

   View Slide

6. 成長フェーズにつき、絶賛採用中です！！
   ● 成長企業向けの法人カードを提供しているスタートアップです ⭐
   ● 金融SaaSとして企業のお金周りの課題を解決することを目指してい
   ます 🏢
   ● Tech Stacks: Go, Kotlin, k8s, Istio, microservices
   ● Working Styles: フルリモート、フルフレックス、業務委託可、副業可
   6
   1. Introduction
   問い合わせはこちらまで
   https://corporatecard.up-sider.jp/career
   Gopherの原著作者は Renée Frenchさんです。
   

   View Slide

7. Agenda
   1. Introduction
   2. What’s Protocol Buffers?
   3. What’s Go Protocol Buffers API v2?
   1. Faults in v1
   2. What v2 provides
   4. Examples using protoreflect
   1. Custom regulations for String
   2. Random message struct generator
   7
   

   View Slide

8. 8
   2.What’s Protocol Buffers?
   ● IDL (インターフェース定義言語) で構造を定義し、データを
   Serialize/Deserializeする仕組み
   ● 高速でシンプルなのが特徴
   ● 言語や環境に依存しないで使用できる 　メッセージが各言語の形にコンパイル
   するツールが提供されている
   ● RPC(gRPC含む)で利用されている
   Protocol Buffers (a.k.a., protobuf, pb) は構造化データを
   Serializeする仕組み & そのインターフェース定義言語
   

   View Slide

9. message Person {
   string name = 1;
   string phone_number = 2;
   int32 age = 3;
   bool is_alive = 4;
   }
   このようなデータ形式のものを”.proto”という拡張子のファイルに定義する
   9
   2.What’s Protocol Buffers?
   基本のデータ構造はmessageという単位で表現する
   右端のタグ番号は、 Serializing用のフィールド識別子
   

   View Slide

10. protobufには、各言語から操作できるようなAPIが用意されて
    いる
    ● protoc コンパイラが各言語の表現形式に変換する
    https://github.com/protocolbuffers/protobuf
    ● 対応言語はたくさん
    Go, C#, C++, Dart, Java, Kotlin, Node, Objective-C, PHP, Python, Ruby
    ● Goでは、コンパイルすると、pb.goというファイルに変換される
    10
    2.What’s Protocol Buffers?
    .proto .pb.go
    コンパイル
    

    View Slide

11. 11
    2.What’s Protocol Buffers?
    Goにコンパイルするとmessageがstructとして表現される
    message Person {
    string name = 1;
    string phone_number = 2;
    int32 age = 3;
    bool is_alive = 4;
    }
    type Person struct {
    Name 　　string
    PhoneNumber string
    Age 　　　int32
    IsAlive bool
    }
    コンパイル
    .pb.go
    コンパイル
    .proto
    

    View Slide

12. 12
    2.What’s Protocol Buffers?
    protobufをGoの表現形式で操作するAPIが今回のお題
    Gopherの原著作者は Renée Frenchさんです。
    message Person {
    string name = 1;
    string phone_number = 2;
    int32 age = 3;
    bool is_alive = 4;
    }
    

    View Slide

13. 13
    2.What’s Protocol Buffers?
    このセッションでのProtocol Buffers関連の言葉の使い方
    Protocol Buffers (protobuf, pb) : Serializingフォーマット、またはそのIDLのこと。
    (protobufの) Message: protobufのIDLで定義されたメッセージ、またはそれの具
    体的なデータのこと
    Proto File: protobufのIDLを定義したファイル(.proto)のこと
    Note: これらは必ずしも厳密な言葉の定義とは一致しません。
    

    View Slide

14. Agenda
    1. Introduction
    2. What’s Protocol Buffers?
    3. What’s Go Protocol Buffers API v2?
    1. Faults in v1
    2. What v2 provides
    4. Examples using protoreflect
    1. Custom regulations for String
    2. Random message struct generator
    14
    

    View Slide

15. ● Goのreflect packageがGoのデータ形式に従ったreflectionを提供するように、
    protobufのデータ形式に沿ったreflectionを提供
    ● Interfaceを介して、protobufのデータ操作の手段を共通化・充実化
    15
    3. What’s Go Protocol Buffers API v2?
    Go Protocol Buffers API v2は、interfaceの実装を充実さ
    せ、protobufのデータ形式の沿ったreflection機能を提供
    

    View Slide

16. Agenda
    1. Introduction
    2. What’s Protocol Buffers?
    3. What’s Go Protocol Buffers API v2?
    1. Faults in v1
    2. What v2 provides
    4. Examples using protoreflect
    1. Custom regulations for String
    2. Random message struct generator
    16
    

    View Slide

17. 1. Messageに対して、protobuf Messageとしてのreflectionが実行しづらい
    2. Messageのinterfaceが簡素なため、Messageに対する共通の処理を実行し
    づらい
    3. デフォルトのコンパイラ以外で生成した
    protobufのGoの表現形式も共通の処
    理ができるようにしたい
    17
    3-1. What’s Go Protocol Buffers API v2? - Faults in v1
    v1には、Messageの情報操作やinterfaceに課題があった
    

    View Slide

18. ● Goのreflect パッケージはあくまで、GoのTypeとしてしか扱えないので、
    protobufのMessageをprotobufの文法に則って扱いたい
    ● Messageの情報を取得する方法はあるが、簡単に操作するような方法が公式
    で与えられていない
    18
    3-1. What’s Go Protocol Buffers API v2? - Faults in v1
    v1の課題1/3: Messageに対して、protobuf Messageとして
    のreflectionが実行しづらい
    func (*DoResponse) Descriptor() ([]byte, []int) {
    // ...
    }
    Byteで返ってくる
    

    View Slide

19. Messageのinterface自体は特になにもしてない。。。
    19
    3-1. What’s Go Protocol Buffers API v2? - Faults in v1
    v1の課題2/3: Messageのinterfaceが簡素で、Messageに
    対する共通の処理を実行しづらい
    生成されたstructでも、特に何もしてない
    type Message interface {
    Reset()
    String() string
    ProtoMessage()
    }
    func (*DoRequest) ProtoMessage() {}
    

    View Slide

20. ● protocで生成したメッセージはあくまで、
    protobufのGoでの表現形式の一つに
    すぎないので、独自のcompiler等を使用した独自の表現形式でも
    reflectionを
    したい
    ● CLIなどでGoにコンパイルされたコードが手に入らない状況でも
    Protocol
    Buffersのメッセージを扱いたい
    20
    3-1. What’s Go Protocol Buffers API v2? - Faults in v1
    v1の課題3/3: デフォルトのコンパイラ以外で生成した
    protobufのGoの表現形式も共通の処理ができるようにしたい
    

    View Slide

21. Agenda
    1. Introduction
    2. What’s Protocol Buffers?
    3. What’s Go Protocol Buffers API v2?
    1. Faults in v1
    2. What v2 provides
    4. Examples using protoreflect
    1. Custom regulations for String
    2. Random message struct generator
    21
    

    View Slide

22. ● Messageのinterfaceが、明示的に、reflection用のinterfaceを返すような関数
    を宣言するようになった
    ● protoreflect packageがprotobufに対して共通のreflectionを実装している
    22
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    v2では、interfaceを充実させて、interfaceに対するreflection
    を提供することで、v1の課題を解決した
    

    View Slide

23. package “google.golang.org/protobuf/proto”
    package “google.golang.org/protobuf/reflect/protoreflect”
    type ProtoMessage interface{ ProtoReflect() Message }
    23
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    v2のproto.Message interfaceは明示的にprotoreflectの
    interfaceを返す関数を宣言している
    リフレクション用のinterfaceをを返す
    type Message = protoreflect.ProtoMessage
    

    View Slide

24. package “google.golang.org/protobuf/proto”
    package “google.golang.org/protobuf/reflect/protoreflect”
    func (x *DoRequest) ProtoReflect() protoreflect.Message {
    // … omitted ...
    }
    24
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    protobufから生成されたmessage structから、reflection用
    のinterfaceを実装したtypeを取得できる
    type ProtoMessage interface{ ProtoReflect() Message }
    type Message = protoreflect.ProtoMessage
    

    View Slide

25. 25
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    protoreflect.MessageがReflection用のメソッドを定義してい
    る
    

    View Slide

26. .proto ファイルに定義される情報をDescriptorというinterfaceで抽象的に表現して、
    共通の動的な操作を可能にしている
    26
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    protoreflect packageは、Messageに対する共通の
    reflection処理を規定している
    

    View Slide

27. 27
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    protoファイルのデータ単位ごとにDescriptorが存在している
    ● FileDescriptor
    ● ServiceDescriptor
    ● MethodDescriptor
    ● MessageDescriptor
    ● FieldDescriptor
    ● OneOfDescriptor
    ● EnumDescriptor
    ● EnumValueDescriptor
    

    View Slide

28. 28
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    Message DescriptorがMessageに対する操作を提供する
    

    View Slide

29. 29
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    Field DescriptorがFieldに対する操作を提供する
    

    View Slide

30. 30
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    FileDescriptorがファイル全体に対する操作を提供する
    

    View Slide

31. 31
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    同様にその他のデータ単位のDescriptorがある
    

    View Slide

32. 32
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    データ単位同士の関係に則って、Descriptorを行ったり来たり
    できる
    File
    Descriptor
    Service
    Descriptor Method
    Descriptor
    Message
    Descriptor Field
    Descriptor
    Enum
    Descriptor
    OneOf
    Descriptor
    Enum
    Value
    Descriptor
    

    View Slide

33. 33
    3-2. What’s Go Protocol Buffers API v2? - What v2 provides
    GoのMessage Structがあれば、MessageDescriptorを始点
    にすべてのDescriptorにアクセスできる
    File
    Descriptor
    Service
    Descriptor Method
    Descriptor
    Message
    Descriptor Field
    Descriptor
    Enum
    Descriptor
    OneOf
    Descriptor
    Enum
    Value
    Descriptor
    Message
    type Person struct {
    Name 　　string
    PhoneNumber string
    Age 　　　int32
    IsAlive bool
    }
    Proto
    Message
    

    View Slide

34. Agenda
    1. Introduction
    2. What’s Protocol Buffers?
    3. What’s Go Protocol Buffers API v2?
    4. Examples using protoreflect
    1. Custom regulations for String
    2. Random message struct generator
    34
    

    View Slide

35. 1. Custom regulations for String
    protoreflectを使ったデータ構造や値の取り出し方の雰囲気
    2. Random message struct generator
    protoreflectを使ったデータの作成・値の書き込み方法の雰囲気
    最終形はGitHubに置いてます
    https://github.com/sryoya/protoreflect-go-examples
    35
    4. Examples using protoreflect
    Exampleを通して理解すること
    

    View Slide

36. Agenda
    1. Introduction
    2. What’s Protocol Buffers?
    3. What’s Go Protocol Buffers API v2?
    4. Examples using protoreflect
    1. Custom regulations for String
    2. Random message struct generator
    36
    

    View Slide

37. 概要
    ● protobufのStringのフィールドに長さ・形式等の制約をかけられるようにしたい
    ○ 文字数が6-12文字の値のみ有効なString
    ○ アルファベットと数字のみ有効な
    String
    ● protobufに制約を定義し、具体的なGoのメッセージの値が形式に沿っているか
    どうかのバリデーション関数を用意する
    使い道の例
    ● gRPC Serverがいちいち(内部のロジック的に)想定外の値に対するバリデーショ
    ンを書かなくてよくする
    ● gRPC Clientがサーバー側の内情を知らなくても、送ろうとしているメッセージが
    正しいか判断できるようにする
    37
    4-1. Examples using protoreflect - Custom regulations for String
    作るもの: Custom regulations for String
    

    View Slide

38. 1. Stringのフィールドに長さのルールをOptionで付加する
    2. Optionで指定した制約に準拠した値かをバリデーションできる
    38
    4-1. Examples using protoreflect - Custom regulations for String
    使い方のイメージ: String with the custom regulations
    message UpdateAccountIDRequest {
    string iD = 1 [ (stroptpb.opts) = {min_len : 6, max_len: 12} ];
    }
    msg = &testproto.UpdateAccountIDRequest{
    ID: "12345",
    }
    err = stropt.Validate(msg)
    fmt.Println(err)
    // Output: Field: ID, invalid length, the value must be longer than or equal to 6, but actual: 5
    Optionを指定
    

    View Slide

39. 1. Protocol Buffersに共通のField Optionを定義する
    2. 関数を作る
    1. 関数のIOを定義する
    2. Messageの情報を取り出す
    3. 各フィールドの情報を取り出す
    4. フィールドのOptionをチェックして取り出す
    5. フィールドの値をチェックして取り出す
    6. 取り出したOptionと値を利用してバリデーションする
    39
    4-1. Examples using protoreflect - Custom regulations for String
    ステップ: Custom regulations for String
    

    View Slide

40. Note: proto3には存在しなかった ”optional”は、Protocol Buffers v.3.12.0で試験的に導入され
    ました
    40
    4-1. Examples using protoreflect - Custom regulations for String
    1. Protocol Buffersに共通のField Optionを定義する
    extend google.protobuf.FieldOptions {
    StringOpts opts = 50000;
    }
    message StringOpts {
    optional int32 len = 1;
    optional int32 max_len = 2;
    optional int32 min_len = 3;
    optional string regexp = 4;
    }
    message UpdateAccountIDRequest {
    string iD = 1 [ (stroptpb.opts) = {len : 10} ];
    }
    定義する 実際に埋め込める
    Optionの識別子は50000-99999でないと
    いけない
    

    View Slide

41. Inputは、protobuf Messageから生成されたStructならどんな値でも投げ込めるよう
    にする
    41
    4-1. Examples using protoreflect - Custom regulations for String
    2-1 関数のIOを定義する
    Messageから生成されたGoのStructに共通のinterface
    func Validate(pb proto.Message) error {
    return validate(pb.ProtoReflect())
    }
    

    View Slide

42. func Validate(pb proto.Message) error {
    return validate(pb.ProtoReflect())
    }
    proto.Messageからreflection用のinterfaceを実装した値を取り出す
    42
    4-1. Examples using protoreflect - Custom regulations for String
    2-2 Messageの情報を取り出す
    reflection用のinterfaceを実装した情報を取り出す
    

    View Slide

43. MessageからField Descriptorを取り出して各フィールドを見ていく
    func validate(m protoreflect.Message) error {
    md := m.Descriptor()
    fds := md.Fields()
    var errs error
    for k := 0; k < fds.Len(); k++ {
    fd := fds.Get(k)
    // validation for each filed
    }
    return errs
    }
    43
    4-1. Examples using protoreflect - Custom regulations for String
    2-3 各フィールドの情報を取り出す
    この中に具体的なvalidationを書いていく
    MessageDescriptorを取り出す
    FieldDescriptorsを取り出す
    

    View Slide

44. StrOptsがついているフィールドか確認して、ついていれば
    Optionの中身を取り出す
    opts := fd.Options().(*descriptorpb.FieldOptions)
    so, ok := proto.GetExtension(opts, stroptpb.E_Opts).(*stroptpb.StringOpts)
    if !ok || so == nil {
    continue
    }
    44
    4-1. Examples using protoreflect - Custom regulations for String
    2-4: フィールドのOptionをチェックして取り出す
    Messageから生成されたStruct
    

    View Slide

45. 1. Stringのフィールドか確認
    if fd.Kind() != protoreflect.StringKind {
    continue
    }
    2. protorefect.Messageから具体的な値を取得する (FieldDescriptorはあくまでデータ構造
    を取得するものなので、具体的なフィールドの値は得られない
    )
    strVal := m.Get(fd).Interface().(string)
    45
    4-1. Examples using protoreflect - Custom regulations for String
    2-5: フィールドの値をチェックして取り出す
    Proto用の型リストと比較
    protoreflect.Message
    

    View Slide

46. func validateValue(fieldName protoreflect.Name, opts *stroptpb.StringOpts, v string) error {
    err = validateLength(opts, v)
    If err != nil {
    // error handling
    }
    // other validations...
    return errs
    }
    46
    4-1. Examples using protoreflect - Custom regulations for String
    2-6: 取り出したOptionと値を利用してバリデーションする
    func validateLength(opts *stroptpb.StringOpts, v string) error {
    }
    内容ごとのバリデーションの関数に、 Optionと値を渡す
    

    View Slide

47. ● Message: フィールドのtypeがまたMessageだったときに対応させる
    ● List: StringのListに対応させる
    ● Map: ValueにStringを持つMapに対応させる
    47
    4-1. Examples using protoreflect - Custom regulations for String
    応用: Composite TypeのFieldに対応させる
    

    View Slide

48. ● Message: フィールドのtypeがまたMessageだったときに対応させる
    -> フィールドの型で判定し、再帰処理を実行する
    ● List: StringのListに対応させる
    　　-> 専用のメソッドで判定し、List用のinterfaceに変換して処理する
    ● Map: ValueにStringを持つMapに対応させる
    -> 専用のメソッドで判定し、Map用のinterfaceに変換して処理する
    48
    4-1. Examples using protoreflect - Custom regulations for String
    応用: Composite Typeに対応させる
    

    View Slide

49. フィールドのTypeを見て再帰呼び出しするだけでOK
    49
    4-1. Examples using protoreflect - Custom regulations for String
    Message: フィールドのTypeが別のMessageだったときに対
    応させる
    if fd.Kind() == protoreflect.MessageKind {
    errs = appendErr(errs, validate(m.Get(fd).Message()))
    continue
    }
    

    View Slide

50. 専用のメソッドでListかチェックして、List用のinterfaceに変換した上でfor-loopを回
    すだけ
    50
    4-1. Examples using protoreflect - Custom regulations for String
    List: StringのListに対応させる
    if fd.IsList() && fd.Kind() == protoreflect.StringKind {
    strList := m.Get(fd).List()
    for i := 0; i < strList.Len(); i++ {
    strVal := strList.Get(i).Interface().(string)
    errs = appendErr(errs, validateValue(fd.Name(), so, strVal))
    }
    continue
    }
    Note: 通常(primitive type)のString用の条件分岐に入らないように注意
    ListのTypeは、Listの中に入る値の
    Typeになる
    

    View Slide

51. 基本的にListと同じだけど、Type判定とloopの回し型が違う
    51
    4-1. Examples using protoreflect - Custom regulations for String
    Map: ValueにStringを持つMapに対応させる
    if fd.IsMap() {
    strMap := m.Get(fd).Map()
    strMap.Range(func(mk protoreflect.MapKey, mv protoreflect.Value) bool {
    strVal, ok := mv.Interface().(string)
    if !ok {
    // error handling
    return false
    }
    errs = appendErr(errs, validateValue(fd.Name(), so, strVal))
    return true
    })
    continue
    }
    Note: Map自体はMessage型になるので、Message型用の条件分岐に入らないように注意
    ValueのTypeを確認しにいく
    Rangeでloopできる
    

    View Slide

52. 52
    4-1. Examples using protoreflect - Custom regulations for String
    Custom regulations for String - Summary
    このようにProtocol Buffersのデータ定義を読み込んだ処理ができるようになりました
    最終形はGitHubにあります
    https://github.com/sryoya/protoreflect-go-examples/blob/master/stropt/valid
    ate.go
    

    View Slide

53. Agenda
    1. Introduction
    2. What’s Protocol Buffers?
    3. What’s Go Protocol Buffers API v2?
    4. Examples using protoreflect
    1. Custom regulations for String
    2. Random message struct generator
    53
    

    View Slide

54. 54
    4-2. Examples using protoreflect - Random message struct generator
    作るもの: Random message struct generator
    概要
    ● Proto MessageのStructを受け取って、ランダムな値を埋め込んで返す
    ● Proto MessageのStructならなんでも扱えるようにする
    使い道の例
    Fuzzing, Performance Test
    

    View Slide

55. 基本: 元のMessageの値にアクセスして書き換える
    protoreflect.Message Interfaceは値を直接書き換える共通のメソッドを提供してい
    る
    応用: 別のMessage Structを用意して値を設定し、最後に、元の
    Structマージする
    dynamicpbという、proto.Messageのinterfaceを実装した動的なtypeを生成できるパッ
    ケージがある。dynamicpbで生成したMessageは、同じproto.Messageのstructとマージ
    して値を書き込むことができる。
    55
    4-2. Examples using protoreflect - Random message struct generator
    要点: protoreflectは、Message Structに値を直接書き込む
    手段も提供している
    

    View Slide

56. func EmbedValue(msg proto.Message) error {
    pm := msg.ProtoReflect()
    fds := pm.Descriptor().Fields()
    for k := 0; k < fds.Len(); k++ {
    fd := fds.Get(k)
    // need handling for List and Map
    switch fd.Kind() {
    case protoreflect.StringKind:
    // write value
    　 // other types including recursion
    default:
    return fmt.Errorf("unexpected type: %v", fd.Kind())
    }
    }
    // ...
    }
    56
    4-2. Examples using protoreflect - Random message struct generator
    読み込みは前の例と同じ要領
    

    View Slide

57. protoreflect.Message interfaceを介して、MessageのStructに書き込める
    switch fd.Kind() {
    case protoreflect.Int32Kind:
    pm.Set(fd, protoreflect.ValueOfInt32(rand.Int31()))
    // ...
    default:
    return fmt.Errorf("unexpected type: %v", fd.Kind())
    }
    57
    4-2. Examples using protoreflect - Random message struct generator
    基本: 元のMessageの値にアクセスして値を書き換える
    Protoreflectの型定義に変換
    Fieldに値をセットできる
    

    View Slide

58. switch fd.Kind() {
    case protoreflect.MessageKind:
    // generate its child message
    pm.Set(fd, protoreflect.ValueofMessage(XXX)))
    default:
    return fmt.Errorf("unexpected type: %v", fd.Kind())
    }
    58
    4-2. Examples using protoreflect - Random message struct generator
    ただし、この方法だと再帰処理などで元のMessageに辿るこ
    とが面倒な場合がある
    親のMessageにセットするために、フィールドの
    Messageの値を用意しないといけない
    

    View Slide

59. ● dynamicpbは、DescriptorからProtocol BuffersのMessageのStructを作成す
    るパッケージ
    https://pkg.go.dev/google.golang.org/protobuf/types/dynamicpb
    ● dynamicpbで生成した値を、protocコンパイラが生成したMessage Structに
    マージして値を書き換えることができる
    59
    4-2. Examples using protoreflect - Random message struct generator
    応用: dynamicpbを使えば、Messageの情報から、新規
    MessageのTypeを生成できる
    

    View Slide

60. ● Goのコンパイル時点で具体的なGoのStructが手に入らない状況でも、
    Protocol Buffersのメッセージを作成できる
    ○ ex) Protocol Buffersに対する汎用のCLI, カスタムのCompilerなど
    ● 再帰処理とかで元のMessageのStructを取り出して書き込むのが面倒なときに
    も、dynamicpbで具体的な値を作って、元のMessageにマージできる
    ○ 今回のケース（ただし、dynamicpbを使わなくてもやる方法自体はある )
    60
    4-2. Examples using protoreflect - Random message struct generator
    応用: dynamicpbは、具体的なGoのMessage Structが手に
    入らない状況でも、Messageの値が用意できる
    

    View Slide

61. 1. MessageDescriptorを渡すと、Messageの情報を持ったdynamicなMessage
    Structが作成できる
    dm := dynamicpb.NewMessage(m.ProtoReflect().Descriptor())
    2. dynamicpbのMessageにも、Proto.Messageと同じように値をセットできる
    dm.Set(fd, value)
    61
    4-2. Examples using protoreflect - Random message struct generator
    応用: dynamicpbに、Messageの情報を渡して、値を生成さ
    せる
    引数にいれる値は下記の通り
    1. フィールドの情報(FieldDescriptor)
    2. セットする値
    

    View Slide

62. これで具体的な値が対象の Structにセットされる
    proto.Merge(msg, dm)
    62
    4-2. Examples using protoreflect - Random message struct generator
    応用: dynamicpbで生成したStructをProcol Buffersから生
    成されたMessage Structにマージする
    引数にいれる値は下記の通り
    1. セット先のMessage Struct
    2. セット元のMessage Struct(dynamic pbが生成した値)
    

    View Slide

63. 最終形はGitHubへ
    https://github.com/sryoya/protoreflect-go-examples/tree/master/protorand
    63
    4-2. Examples using protoreflect - Random message struct generator
    Random message struct generator - Summary
    

    View Slide

64. ● Go Protocol Buffers API v2では、MessageのInterfaceが充実され、
    reflectionの機能が提供された
    ● protoreflectパッケージを利用して、Protocol Buffersのデータ形式に沿った
    データの読み書きができる
    64
    まとめ
    

    View Slide

65. 65
    Appendix - Go Protocol Buffers API v2のimport path
    ● google.golang.org/protobuf
    ○ ちなみにv1はgithub.com/golang/protobuf
    ● versionはv1.20.0から始まる
    ○ まだ提供されているv1(2021年4月現在でv1.5.2)がv1.20まで到達するこ
    とはないだろうかららしい
    

    View Slide

66. 66
    Appendix - v2からのGoコード生成ツールと使用例
    ● protobufのGoコード生成
    ○ google.golang.org/protobuf/cmd/protoc-gen-go
    ● gRPCのGoコード生成
    ○ google.golang.org/grpc/cmd/protoc-gen-go-grpc
    ● コマンド例
    $ find . -name '*.proto' -exec protoc --experimental_allow_proto3_optional
    -I ./ --go_out . --go_opt paths=source_relative --go-grpc_out . --go-grpc_opt
    paths=source_relative {}
    

    View Slide

67. 67
    Appendix - その他関連パッケージ
    ● protocmp
    ○ google.golang.org/protobuf/testing/protocmp
    ○ go-cmpを内包したテスト用のツール
    ● protojson
    ○ google.golang.org/protobuf/encoding/protojson
    ○ Jsonとprotobufの変換(v1の改良版)
    ● protogen
    ○ google.golang.org/protobuf/compiler/protogen
    ○ protobuf compilerの作成用のヘルパーツール
    

    View Slide

68. 68
    Reference
    ● The Go Blog A new Go API for Protocol Buffers
    https://blog.golang.org/protobuf-apiv2
    ● protoreflect
    https://pkg.go.dev/google.golang.org/protobuf/reflect/protoreflect
    ● dynamicpb
    https://pkg.go.dev/google.golang.org/protobuf/types/dynamicpb
    

    View Slide

69. EoF
    Gopherの原著作者は Renée Frenchさんです。
    69
    

    View Slide