gRPC勉強会

Transcript

1. gRPCに沼ろうの会 GitHub: @Daaaai0809 X : @daradara_kabos
2. 今日の目標 • gRPCとか周辺知識について知る • gRPCがサポートしているストリーミング通信について知る • 実際にgRPCを使って簡単なAPIを実装してみる(一緒に機能 の紹介などもします) • 時間があればちょっとInterceptorなどの発展も…
3. そもそもgRPCってなんなのって話
4. とは？ • RPC(Remote Procedure Call)を実現するためGoogleが開発した通信プロトコル • HTTP/2ベースで通信を行い、それによってストリーミング通信を実現できる • 複数のプログラミング言語でサポートしているので他言語で構成されたサービ ス同士の通信も可能 • Protocol Bufferでデータをシリアライズ化(直列化)し、protoファイルを元にコー ドを自動生成する
5. RPCがなんなのかわからないのですが
6. RPC とは • Remote Procedure Callの略 • プログラム中の手続きや関数、メソッドを 呼び出すのと同じような手順で異なる サーバ、プロセスの関数などを呼び出す 仕組み クライアント Method() サーバ Method() クライアント側のMethod()を実行 リクエストを送信 リクエストを元にサーバ側の Method()が呼び出される レスポンス送信 Method()の実行結果を受け取る
7. gRPCってどんなとこで使われるの？？
8. こんなとこで使われる！ • マイクロサービスアーキテクチャ内のコンポーネント間通信 • 動画配信など一つのリクエストに対して複数のレスポンスを返すような通信を 実現したいとき • 大きなデータの分割アップロードなど複数のリクエストに対して一つのレスポン スを返すような通信を実現したいとき • リアルタイムチャットなど双方向リアルタイム通信を実現したいとき
9. マイクロサービスアーキテクチャって？
10. 従来の一般的な設計
11. マイクロサービスアーキテクチャ
12. 2つの設計の違いを挙げてみましょう
13. 従来の一般的な設計 • 内部では複数のビジネスロジックに分かれているけど結局は一つの マシン上で動いている • １つのDBを複数のビジネスロジックから参照している
14. マイクロサービスアーキテクチャ • 複数のビジネスロジックに分割していてそれぞれが個別のマシン上 で動いている • ビジネスロジックごとに使用している言語が異なる • 1つのDBごとに1つのビジネスロジックが参照している
15. マイクロサービスアーキテクチャの利点
16. • マイクロサービス同士が疎結合であるため１つのシステムに対して異なる 技術を採用することができ、さらに疎結合により柔軟性・拡張性が高い • 負荷分散ができる • デプロイ時に一部の機能のみをデプロイするためシステム自体を停止す る必要がない • etc…
17. gRPCを使うと何がいいの？
18. 1. ストリーミング通信が実現できる ・ストリーミング通信とは • 先ほど紹介したRPCの例では一つのリクエストに対して一つのレスポンスしか 返すことができなかった • ストリーミング通信では複数のリクエストやレスポンスを扱うことができる • gRPCで扱える通信方式はUnary RPC, Server Streaming, Client Streaming, Bidirectional Streamingの４種類
19. 1. ストリーミング通信が実現できる
20. 1. ストリーミング通信が実現できる ストリーミング通信を利用することで… リアルタイムのビデオストリーミングやリアルタイムチャットを 作ることができる！！ Youtubeとかネトフリとかetc…
21. 2. Protocol Bufferを使う • Protocol Bufferに基づいてコードを自動生成するツールが提供されて いるため、通信用のデータの構造やメソッドの定義を手作業で書く必要 がなくなり、実装の手間が省ける • Protocol Bufferはバイナリフォーマットであるため、シリアライズとでシリ アライズが高速で行われるため、パフォーマンスが向上する • 多くのプログラミング言語でサポートされているので、異なる言語間での データ共有が容易になる
22. 2. Protocol Bufferを使う ・そもそもProtocol Bufferとは？ • Googleによって開発されたバイナリデータのシリアライズ(直列化)とデシリア ライズを行うためのフォーマットおよびプロトコル • バイナリフォーマットによる高速性、多言語サポート、拡張性、コードの自動 生成ツールなどを兼ね備えている • データの構造とフィールドを定義するためのスキーマ言語を提供している OpenAPIなどと同じ (例は次のページ)
23. 2. Protocol Bufferを使う ・Protocol Bufferの記述例 syntax = "proto3"; option go_package = "github.com/Daaaai0809/grpc-interceptor-sample/proto"; package proto; service AuthSampleService { rpc LoginMethod (LoginRequest) returns (LoginResponse) {} rpc AdminMethod (AdminRequest) returns (AdminResponse) {} rpc RequiredAuthMethod (stream RequiredAuthRequest) returns (stream RequiredAuthResponse) {} rpc NotRequiredAuthMethod (stream NotRequiredAuthRequest) returns (NotRequiredAuthResponse) {} } message LoginRequest { string userName = 1; string password = 2; } message LoginResponse { string token = 1; }
24. type AuthSampleServiceServer interface { LoginMethod(context.Context, *LoginRequest) (*LoginResponse, error) AdminMethod(context.Context, *AdminRequest) (*AdminResponse, error) RequiredAuthMethod(context.Context, *RequiredAuthRequest) (*RequiredAuthResponse, error) NotRequiredAuthMethod(context.Context, *NotRequiredAuthRequest) (*NotRequiredAuthResponse, error) mustEmbedUnimplementedAuthSampleServiceServer() } // UnimplementedAuthSampleServiceServer must be embedded to have forward compatible implementations. type UnimplementedAuthSampleServiceServer struct { } func (UnimplementedAuthSampleServiceServer) LoginMethod(context.Context, *LoginRequest) (*LoginResponse, error) { return nil, status.Errorf(codes.Unimplemented, "method LoginMethod not implemented") } 2. Protocol Bufferを使う ・自動生成されたコードの一部(Go)
25. func (s *Server) LoginMethod(ctx context.Context, req *proto.LoginRequest) (*proto.LoginResponse, error) { userName := req.GetUserName() if userName == "" { return nil, fmt.Errorf("user name is empty") } password := req.GetPassword() if password == "" { return nil, fmt.Errorf("password is empty") } role, err := auth.CheckPassword(userName, password) if err != nil { return nil, err } token, err := auth.GenerateToken(userName, role) if err != nil { return nil, err } return &proto.LoginResponse{ Token: token, }, nil } 2. Protocol Bufferを使う ・自動生成されたコードの利用(Go)
26. こんな感じに生成されたコードを使うことで データ構造やメソッド定義の手間が省ける！！ 楽ちんだね！
27. 実際にコードを書いていきましょう～
28. これからやること • Protocol Bufferの記述 • Unary RPC, Server Stream, Client Stream, Bidirectional Streamを利用した 簡単な処理の実装(サーバ・クライアント両方) • Interceptorの実装(Interceptor: gRPCにおけるMiddleware的なもの) * *印 : 時間があれば
29. . ├── client │ └── main.go ├── go.mod ├── go.sum ├── interceptor │ ├── client │ │ ├── stream_interceptor.go │ │ └── unary_interceptor.go │ └── server │ ├── stream_interceptor.go │ └── unary_interceptor.go ├── proto │ ├── prac.pb.go │ ├── prac.proto │ └── prac_grpc.pb.go ├── protoc.sh └── server └── main.go ディレクトリ構成
30. ProtoBuf 書いていくよ～
31. syntax = "proto3"; option go_package = "github.com/saitamau-maximum/grpc-sample-answer/"; package proto; • syntax = “proto3”でProtocol Bufferのバージョン指定 • option go_packageでgoのパッケージ指定 • package protoでパッケージ宣言(Goのパッケージと概念は一緒)
32. service SampleService { rpc unarySample(UnaryRequest) returns (UnaryResponse); } message UnaryRequest { string name = 1; } message UnaryResponse { string message = 1; } • service XXX {} でサービス定義 • Service内でrpc {MethodName} ({Request}) returns ({Response})でメソッド定 義 • message XXX {} でデータ構造を定義 • messageの中ではstring, intなどの基本的な型以外にも外部からインポート することでdate型が使えたり、自分で定義したデータ構造が使える • まずはUnary RPCから
33. $ protoc --go_out=./ --go_opt=paths=source_relative ¥ --go-grpc_out=./ --go-grpc_opt=paths=source_relative ¥ *.proto
34. Protoディレクトリ内にGoファイルが生成されているはずです
35. 軽～くコードを見てみましょう
36. type UnaryRequest struct { state protoimpl.MessageState sizeCache protoimpl.SizeCache unknownFields protoimpl.UnknownFields Name string `protobuf:"bytes,1,opt,name=name,proto3" json:"name,omitempty"` } proto/prac.pb.go func (x *UnaryRequest) GetName() string { if x != nil { return x.Name } return "" } • GetName()で送信されたRequestのNameを参照できる。これも自動生成。
37. サーバ側の実装
38. type SampleServiceServer struct{ proto.UnimplementedSampleServiceServer } server/main.go func (s *SampleServiceServer) UnarySample(ctx context.Context, req *proto.UnaryRequest) (*proto.UnaryResponse, error) { name := req.GetName() if name == "" { return nil, fmt.Errorf("name is required") } msg := fmt.Sprintf("Hello %s", name) return &proto.UnaryResponse{ Message: msg, }, nil }
39. • Serverを構造体として新たに定義する • この時構造体のメンバにUnimplementedSampleServiceServerを 含ませる • サービス内のメソッドは定義したServer構造体のメソッドとして定義 する • メソッドの引数の型にはcontext.Context, Requestのポインタを、 返り値の型にはResponseのポインタ, error型を指定する
40. func main() { port := "18080" lis, err := net.Listen("tcp", fmt.Sprintf(":%s", port)) if err != nil { log.Fatalf("failed to listen: %v", err) } s := grpc.NewServer() proto.RegisterSampleServiceServer(s, NewSampleServiceServer()) reflection.Register(s) go func () { log.Printf("start server port: %s", port) s.Serve(lis) }() quit := make(chan os.Signal, 1) signal.Notify(quit, os.Interrupt) <-quit log.Println("stopping server...") s.GracefulStop() } server/main.go(続き)
41. • grpc.NewServer()で新たなgRPCサーバを作成 • proto.RegisterSampleServiceServerでサーバにSampleServiceを登録する • s.Serve(lis)で指定したポートでサーバ起動 • s.GracefulStopでサーバ停止
42. ここまで来たら動くか見てみる
43. Evansを使ってメソッドを呼び出してみる $ evans --port {port番号} --proto {protoファイルまでの相対パス} • 今回なら18080番ポートで起動して/protoディレクトリ配下にproto ファイルを配置しているので • $ evans --port 18080 --proto ./proto/prac.proto で起動
44. クライアント側の実装
45. var ( scanner *bufio.Scanner client proto.SampleServiceClient address = "localhost:18080" ) client/main.go • scanner : 標準入力を受け取るための構造体 • client : SampleServiceのクライアント側のインタフェース • address : gRPCサーバのアドレス
46. func UnarySample() { fmt.Println("Unary RPC") fmt.Print("Name: ") scanner.Scan() name := scanner.Text() req := &proto.UnaryRequest{ Name: name, } res, err := client.UnarySample(context.Background(), req) if err != nil { log.Fatalf("failed to call UnarySample: %v", err) return } fmt.Println(res.GetMessage()) } client/main.go
47. • client.UnarySample()でサーバ側に定義したUnarySample()をクライ アント側から呼び出している • 第一引数にはcontext, 第二引数にはRequest • res.GetMessage()で受け取ったレスポンスに含まれるMessageを 受け取っている
48. conn, err := grpc.Dial( address, grpc.WithInsecure(), ) if err != nil { log.Fatalf("failed to connect: %v", err) return } defer conn.Close() client = proto.NewSampleServiceClient(conn) client/main.go : main()内
49. • grpc.Dial()でgRPCサーバに接続する • grpc.Dial()に持たせているgrpc.WithInsecure()は認証せず接続をすると いうオプション • 今回はローカルでの簡単な実装の為こうしていますが、実際にプロジェ クトで使うような場合にはTLS認証を設けたりします • conn.Close()でgRPCサーバとの接続を切断します
50. クライアント側から呼び出してみる
51. Server Streamの実装
52. service SampleService { rpc unarySample(UnaryRequest) returns (UnaryResponse); rpc serverStreamSample(ServerStreamRequest) returns (stream ServerStreamResponse); } prac.proto message ServerStreamRequest { string name = 1; } message ServerStreamResponse { string message = 1; }
53. $ protoc --go_out=./ --go_opt=paths=source_relative ¥ --go-grpc_out=./ --go-grpc_opt=paths=source_relative ¥ *.proto
54. サーバ側の実装
55. func (s *SampleServiceServer) ServerStreamSample(req *proto.ServerStreamRequest, stream proto.SampleService_ServerStreamSampleServer) error { name := req.GetName() if name == "" { return fmt.Errorf("name is required") } for i := 0; i < 10; i++ { var msg string if i < 9 { msg = fmt.Sprintf("[%d] Hello %s!!", i, name) } else { msg = fmt.Sprintf("[%d] This is the last message. Hello %s!!", i, name) } err := stream.Send(&proto.ServerStreamResponse{ Message: msg, }) if err != nil { return err } time.Sleep(1 * time.Second) } return nil } server/main.go
56. • Unary RPCとは異なり、引数にrequestとstream(生成されたコード内にある SampleService_ServerStreamSampleServer型)を受け取る • 返り値にはerrorのみを返す • req.GetName()でrequestで送信されたNameを取得できる • Server StreamでResponseを送信する場合はstream.Send()メソッドで送信で きる
57. Evansで呼び出してみる
58. クライアント側の実装
59. func ServerStreamSample() { fmt.Println("ServerStream RPC") fmt.Print("Name: ") scanner.Scan() name := scanner.Text() req := &proto.ServerStreamRequest{ Name: name, } stream, err := client.ServerStreamSample(context.Background(), req) if err != nil { log.Fatalf("failed to call ServerStreamSample: %v", err) return } for { res, err := stream.Recv() if errors.Is(err, io.EOF) { return } if err != nil { log.Fatalf("failed to receive: %v", err) return } fmt.Println(res.GetMessage()) } }
60. • client.ServerStreamSampleを呼び出すことでstreamを受け取る • stream.Recv()でサーバ側からのレスポンスを受け取る • サーバ側からレスポンスがなくなった場合の判断はerrors.Is(err, io.EOF) で判断している
61. クライアント側から呼び出す
62. Client Streamの実装
63. service SampleService { rpc unarySample(UnaryRequest) returns (UnaryResponse); rpc serverStreamSample(ServerStreamRequest) returns (stream ServerStreamResponse); rpc clientStreamSample(stream ClientStreamRequest) returns (ClientStreamResponse); } message ClientStreamRequest { string name = 1; } message ClientStreamResponse { string message = 1; }
64. $ protoc --go_out=./ --go_opt=paths=source_relative ¥ --go-grpc_out=./ --go-grpc_opt=paths=source_relative ¥ *.proto
65. サーバ側の実装
66. func (s *SampleServiceServer) ClientStreamSample(stream proto.SampleService_ClientStreamSampleServer) error { nameList := make([]string, 0) for { req, err := stream.Recv() if errors.Is(err, io.EOF) { msg := fmt.Sprintf("Hello %s !!", strings.Join(nameList, ", ")) return stream.SendAndClose(&proto.ClientStreamResponse{ Message: msg, }) } if err != nil { return err } nameList = append(nameList, req.GetName()) } }
67. • 今回はサーバ側がstreamから複数リクエストを受け取るのでメソッドの引数には streamを受け取り、サーバ側でstream.Recv()をしている • stream.SendAndClose()ではResponseを送信してstreamを閉じている
68. クライアント側の実装
69. func ClientStreamSample() { fmt.Println("ClientStream RPC") fmt.Println("Input names. If you want to stop, input 'exit'") stream, err := client.ClientStreamSample(context.Background()) if err != nil { log.Fatalf("failed to call ClientStreamSample: %v", err) return } sendCount := 0 for (sendCount < 5) { sendCount++ fmt.Print("> ") scanner.Scan() name := scanner.Text() if name == "exit" { break } err := stream.Send(&proto.ClientStreamRequest{ Name: name, }) if err != nil { log.Fatalf("failed to send: %v", err) return } } res, err := stream.CloseAndRecv() if err != nil { log.Fatalf("failed to close: %v", err) return } fmt.Println(res.GetMessage()) }
70. • client.ClientStreamSample()でstreamを開通する • stream.Send()でリクエスト送信 • stream.CloseAndRecv()でレスポンスを受け取った後にstreamを閉じる
71. クライアント側から呼び出す
72. Bidirectional Streamの実装
73. service SampleService { rpc unarySample(UnaryRequest) returns (UnaryResponse); rpc serverStreamSample(ServerStreamRequest) returns (stream ServerStreamResponse); rpc clientStreamSample(stream ClientStreamRequest) returns (ClientStreamResponse); rpc bidirectionalStreamSample(stream BidirectionalStreamRequest) returns (stream BidirectionalStreamResponse); } message BidirectionalStreamRequest { string name = 1; } message BidirectionalStreamResponse { string message = 1; }
74. $ protoc --go_out=./ --go_opt=paths=source_relative ¥ --go-grpc_out=./ --go-grpc_opt=paths=source_relative ¥ *.proto
75. サーバ側の実装
76. func (s *SampleServiceServer) BidirectionalStreamSample(stream proto.SampleService_BidirectionalStreamSampleServer) error { for { req, err := stream.Recv() if errors.Is(err, io.EOF) { return } if err != nil { fmt.Errorf("failed to receive: %v", err) } name := req.GetName() msg := fmt.Sprintf("Hello %s !!", name) err = stream.Send(&proto.BidirectionalStreamResponse{ Message: msg, }) if err != nil { return err } } }
77. • 双方向通信なのでサーバ側でstreamからのRequestの受信, streamへのRequest の送信を行っている • 結局やってることとしてはServer StreamとClient Streamを融合させたようなこと
78. Evansから呼び出す
79. クライアント側の実装
80. クライアント側から呼び出す
81. Interceptorの実装 おまけ
82. package interceptor import ( "log" "context" "google.golang.org/grpc" ) func UnaryServerInterceptor(ctx context.Context, req interface{}, info *grpc.UnaryServerInfo, hadler grpc.UnaryHandler) (interface{}, error) { log.Println("[pre] UnaryServerInterceptor: ", info.FullMethod) res, err := hadler(ctx, req) log.Println("[post] UnaryServerInterceptor: ", info.FullMethod) return res, err }