Protocol Buffersスキーマ定義から GoのCLIを生成する

kamakura.go #7 @大船

https://kamakurago.connpass.com/event/336353/

Transcript

1. 1 Protocol Buffersスキーマ定義から GoのCLIを⽣成する 古殿直也 (@furudono2) ホスティング事業部 事業開発チーム 2024.12.13
2. 2 ⾃⼰紹介 ホスティング事業部 事業開発チーム 2023年 新卒⼊社 古殿直也 Naoya Furudono • ホスティングサービスを作っています • ランニングとお酒が好きです • プログラミング⾔語も好きです • Twitter : @furudono2 • あだ名は donokun
3. 3 セクションタイトル Web APIだけじゃなくて、バッチ処理でもスキーマ駆動開発して幸せになりたい！ 最後のピースをProtobufスキーマからのCLI⽣成で埋める スキーマ駆動でバッチを書こう
4. 4 1. Protobuf / Connectで⾏うWeb APIサーバのスキーマ駆動開発 2. Webサービスでのバッチ処理の実⾏ 3. clioの紹介 ⽬次
5. スキーマ駆動開発: API設計をスキーマとして定義して、それをもとに開発すること スキーマ駆動開発、幸せです 5 API提供者 • 仕様を明⽰できる • 機械的に検証できる • ボイラープレートの⽣成 API利⽤者 • 仕様を明⽰してもらえる • モックを作れる • ボイラープレートの⽣成 5
6. スキーマ駆動開発: API設計をスキーマとして定義して、それをもとに開発すること スキーマ駆動開発、幸せです 6 API提供者 • 仕様を明⽰できる • 機械的に検証できる • ボイラープレートの⽣成 • (シナリオテストと相性🙆) API利⽤者 • 仕様を明⽰してもらえる • モックを作れる • ボイラープレートの⽣成 6 今日はこちらの話
7. • スキーマを定義する仕組みと、それを活⽤する仕組み • Protocol Buffers ◦ スキーマ定義 ◦ コンパイラツールチェーン (protoc) ◦ プラグインとしてのコード⽣成機 • Connect ◦ Web API実装をサポート Protocol Buffers と Connect でスキーマ駆動開発する 7 スキーマ駆動開発、幸せです https://connectrpc.com/docs/go/getting-started API提供者 • 仕様を明⽰できる • 機械的に検証できる • ボイラープレートの⽣成
8. スキーマ駆動開発、幸せです Protocol Buffer で記述するスキーマ定義 • Serviceは複数のRPCを提供する • RPCはリクエストを受け取りレスポンスを返す ◦ リクエスト‧レスポンスのスキーマは messageとして定義する • messageはそれを構成するフィールドをもつ • フィールドは名前、型、番号をもつ • コメントも書ける • 拡張機能もある https://github.com/naoyafurudono/greeting/blob/main/greet/v1/greet.proto 8
9. スキーマ駆動開発、幸せです Protocol Buffer で記述するスキーマ定義 • Serviceは複数のRPCを提供する • RPCはリクエストを受け取りレスポンスを返す ◦ リクエスト‧レスポンスのスキーマは messageとして定義する • messageはそれを構成するフィールドをもつ • フィールドは名前、型、番号をもつ • コメントも書ける • 拡張機能もある https://github.com/naoyafurudono/greeting/blob/main/greet/v1/greet.proto 9 API提供者 • 仕様を明⽰できる • 機械的に検証できる • ボイラープレートの⽣成 https://protobuf.dev/programming-guides/proto3/
10. Connectはサービスインターフェースとボイラープレートを⽣成する 10 https://connectrpc.com/docs/go/getting-started • Protobufスキーマから以下を⽣成する ◦ サービスのインターフェース ◦ サービスを動作させるConnect サーバ（http サーバと思ってここ では⼗分） • リクエストのマーシャルとルーティングを Connectがやってくれる • 開発者はインターフェースを満たすサービス （ビジネスロジック）を実装すれば良い Connect is a slim library for building browser- and gRPC-compatible HTTP APIs. You define your service with a Protocol Buffer schema, and Connect generates type-safe server and client code. Fill in your server's business logic and you're done — no hand-written marshaling, routing, or client code required! （Connectのドキュメントから抜粋）
11. Connectはサービスインターフェースとボイラープレートを⽣成する 11 https://connectrpc.com/docs/go/getting-started • Protobufスキーマから以下を⽣成する ◦ サービスのインターフェース ◦ サービスを動作させるConnect サーバ（http サーバと思ってここ では⼗分） • リクエストのマーシャルとルーティングを Connectがやってくれる • 開発者はインターフェースを満たすサービス （ビジネスロジック）を実装すれば良い
12. Protocol Buffers / Connectでスキーマ駆動開発、よさそう 12 https://connectrpc.com/docs/go/getting-started API提供者 • 仕様を明⽰できる • 機械的に検証できる • ボイラープレートの⽣成
13. スキーマ駆動開発、幸せです Webアプリケーションにはバッチ処理がつきもの 13 • 単にフロントエンドのためのAPIを定義すれば終わりではない • バッチ処理も必要 • もちろんスキーマ駆動開発したい。幸せになりたいので • バッチもAPI API提供者 • 仕様を明⽰できる • 機械的に検証できる • ボイラープレートの⽣成
14. 14 ⼤体いい感じだが、 ボイラープレートの⽣成がうまく⾏かない
15. スキーマ駆動開発、幸せです Protocol Buffer で記述するスキーマ定義 • Serviceは複数のRPCを提供する • RPCはリクエストを受け取りレスポンスを返す ◦ リクエスト‧レスポンスのスキーマは messageとして定義する • messageはそれを構成するフィールドをもつ • フィールドは名前、型、番号をもつ • コメントも書ける • 拡張機能もある https://github.com/naoyafurudono/greeting/blob/main/greet/v1/greet.proto 15 API提供者 • ✅仕様を明⽰できる • ✅機械的に検証できる • ボイラープレートの⽣成 詳細: https://protobuf.dev/programming-guides/proto3/ 再掲
16. Connectはサービスインターフェースとボイラープレートを⽣成する 16 参考: https://connectrpc.com/docs/go/getting-started • Protobufスキーマから以下を⽣成する ◦ サービスのインターフェース ◦ サービスを動作させるConnect サーバ（http サーバと思ってここ では⼗分） • リクエストのマーシャルとルーティングを Connectがやってくれる • 開発者はインターフェースを満たすサービス （ビジネスロジック）を実装すれば良い 再掲 API提供者 • ✅仕様を明⽰できる • ✅機械的に検証できる • ボイラープレートの⽣成
17. Connectはサービスインターフェースとボイラープレートを⽣成する 17 • Protobufスキーマから以下を⽣成する ◦ サービスのインターフェース ◦ サービスを動作させるConnect サーバ（http サーバと思ってここ では⼗分） • リクエストのマーシャルとルーティングを Connectがやってくれる • 開発者はインターフェースを満たすサービス （ビジネスロジック）を実装すれば良い 再掲 Connectサーバはバッチ処理には不適格 参考: https://connectrpc.com/docs/go/getting-started API提供者 • ✅仕様を明⽰できる • ✅機械的に検証できる • ❌ボイラープレートの⽣ 成
18. • JobはKubernetesのリソース • Podが正常に完了するまで実⾏されるように してくれる • CronJobはそれをスケジュールにそって実⾏ する • コンテナ内のコマンドを実⾏する • Connectサーバをたてられても困る • APIサーバではなくCLIが必要 k8s CronJobでコマンド実⾏したいから 18
19. コマンドをジョブごとに実装する 19 • バッチ処理の種類ごとにrpcを定義する • それを呼び出すコマンドを実装する ◦ サブコマンドを⽣やして、 ◦ 引数の処理をする • ボイラープレート...
20. clioを使ってボイラープレートを排除する 20 • バッチジョブを指定し引数を解釈するCLIの実 装が必要 • バッチ処理ごとにそれぞれ実装する • Connectサーバたてられても困る clio
21. clio 21 • Protobufスキーマ定義からGoのCLIを⽣成するツール ◦ github.com/naoyafurudono/clio-go
22. clio 22 • Protobufスキーマ定義からGoのCLIを⽣成するツール ◦ github.com/naoyafurudono/clio-go ◦ 紹介記事: https://zenn.dev/nfurudono/articles/719e3aafac6065 • 以下を⽣成する ◦ Connectサービスのインターフェースをそのまま受け⼊れて ◦ サービスを動作させるcobra.Commandを返す関数 • cobra.Commandはコマンドライン引数のマーシャルとルーティング（RPCの選択）を⾏う • Connectと同様に、「protoc plugin + Goパッケージ」として提供
23. 23 スキーマ駆動開発、幸せです API提供者 • ✅仕様を明⽰できる • ✅機械的に検証できる • ✅ボイラープレートの⽣成
24. 24 スキーマ駆動開発、幸せです API提供者 • ✅仕様を明⽰できる • ✅機械的に検証できる • シナリオテストと相性🙆 • ✅ボイラープレートの⽣成
25. 25 セクションタイトル Web APIだけじゃなくて、バッチ処理でもスキーマ駆動開発して幸せになりたい！ 最後のピースをProtobufスキーマからのCLI⽣成で埋める スキーマ駆動でバッチを書こう
26. 26 Thank you!