ScalaでgRPC

ScalaでScalaPBを使ってgRPCをする話。
ScalaMatsuri 2018のアンカンファレンスでの発表

Transcript

1. Scala でgRPC ScalaMatsuri 2018 1 / 36
2. twitter @xuwei_k github @xuwei-k blog https://xuwei-k.hatenablog.com 2 / 36
3. Scala 忍者 未来から送られてきた関数型プログラミングロボット 3 / 36
4. 2017 年のOSS 活動 出したpull request 825 merge されたpull request 750 4520 contributions 4 / 36
5. gRPC 公式サイト grpc.io 5 / 36
6. 2015 年2 月にGoogle が 発表したhttp2 を使った RPC フレームワーク 6 / 36
7. google 内部ではstubby という名前で ずっと内部で使われているらしい stubby をOSS として作り直したのがgRPC 7 / 36
8. gRPC デフォルトでは protocol buffers が使われる 他のシリアライズ方式に差し替えることも可能 だがそれほど使われていない？ 8 / 36
9. 公式対応言語 C++, Java, Python, Go, Ruby, C#, Node.js, Android, Objective-C, PHP PHP はクライアントのみ 9 / 36
10. gRPC とは 公式では Scala は対応していない protocol buffers 自体に plugin があるの で、それでコード生成をして対応できる 内部的には grpc-java を使っている grpc-java の実装はnetty 4.1 を使っている 10 / 36
11. protocol buffers の plugin protoc プラグインの書き方 by @yugui さん yugui さんは元google でgrpc-gateway なども作っておりとても詳しい 11 / 36
12. Protocol Buffers は遅いのか 同僚 遅いかどうかの話じゃなく protocol buffers の特徴をうまく説明している? のでオススメ 12 / 36
13. https://xuwei-k.github.io/scala- protobuf-docs/grpc https://github.com/xuwei-k/grpc-scala- sample 13 / 36
14. Scala での使い方 14 / 36
15. https://github.com/scalapb/ScalaPB Scala での protocol buffers のライブラリ gRPC にも対応している @xuwei-k が対応させました 15 / 36
16. たぶん3 年連続くらいで2 位 16 / 36
17. project/plugins.sbt addSbtPlugin("com.thesamet" % "sbt-protoc" % "0.99.18") libraryDependencies += "com.thesamet.scalapb" %% "compilerplugin" % "0.7.1" 17 / 36
18. build.sbt import scalapb.compiler.Version.{ scalapbVersion, grpcJavaVersion } PB.targets in Compile ++= Seq( scalapb.gen() -> (sourceManaged in Compile).value ) libraryDependencies ++= Seq( "io.grpc" % "grpc-netty" % grpcJavaVersion, "com.thesamet.scalapb" %% "scalapb-runtime-grpc" % scalapbVersion ) 18 / 36
19. service の定義 https://github.com/grpc/grpc- java/blob/v1.10.0/examples/src/main/proto/helloworld.proto message HelloRequest { string name = 1; } message HelloReply { string message = 1; } service Greeter { rpc SayHello (HelloRequest) returns (HelloReply) {} } 19 / 36
20. Server の実装 https://github.com/xuwei-k/grpc-scala-sample/blob/a5d4fb9a952/grpc- scala/src/main/scala/io/grpc/examples/helloworld/HelloWorldServer.scala#L80- L81 class GreeterImpl extends GreeterGrpc.Greeter { override def sayHello(req: HelloRequest): Future[HelloReply] val reply = HelloReply(message = "Hello " + req.name) Future.successful(reply) } } 20 / 36
21. protobuf でリクエスト、レスポンス、サービスを 定義 リクエストを引数にとって、Future[ レスポンス] を返すメソッドを実装 21 / 36
22. Client リクエストやレスポンスのパーサー的なものは実装の 必要ない https://github.com/xuwei-k/grpc-scala- sample/blob/a5d4fb9a95/grpc- scala/src/main/scala/io/grpc/examples/helloworld/HelloWorldClient. 22 / 36
23. client のインスタンスの生成 val channel = ManagedChannelBuilder .forAddress(host, port) .build() val blockingStub = GreeterGrpc.blockingStub(channel) https://github.com/xuwei-k/grpc-scala- sample/blob/a5d4fb9a952c3e895e791b13786f8eb1681b6f65/grpc- scala/src/main/scala/io/grpc/examples/helloworld/HelloWorldClient.scala#L75-L77 23 / 36
24. リクエストを作成して渡す val request = HelloRequest(name) val response = blockingStub.sayHello(request) 24 / 36
25. Java との違い unary の場合は、StreamObserver は使用せずに、 scala のFuture を返すという規約にした その他の場合はJava と似たような感じで StreamObserver を使用 つまり必要以上に関数型な感じにはあえてしなかった 25 / 36
26. リクエストとレスポンスがそれぞれstream か否か？ で4 種類ある Unary Server Streaming Client Streaming Bidirectional Streaming 26 / 36
27. /* unary */ rpc hello(Req) returns (Res){} /* server streaming */ rpc hello(Req) returns (stream Res){} /* client streaming */ rpc hello(stream Req) returns (Res){} /* bidirectional streaming */ rpc hello(stream Req) returns (stream Res){} 27 / 36
28. 4 種類の実装のサンプル 28 / 36
29. Unary リクエストを1 つ送るとレスポンス1 つ返る def hello(req: Req): Future[Res] = { // req: Req を使って Future[Res] を返す処理 } 29 / 36
30. Server Streaming リクエストを1 つ送るとレスポンスがゼロ個以上の複数 返る def hello(request: Req, observer: StreamObserver[Res]): Unit = { // observer.onNext を0 回以上複数回呼ぶ } 30 / 36
31. Client Streaming リクエストを複数送ると、レスポンスが返る def hello(observer: StreamObserver[Res]) = new StreamObserver[Req] { // onNext などを実装 } 31 / 36
32. Bidirectional Streaming リクエストを複数送ると、レスポンスが複数返る(?) def hello(observer: StreamObserver[Res]) = new StreamObserver[Req] { // onNext などを実装 } 32 / 36
33. 無理してstream 使わずに、どうしても必要でない限り unary だけで良い気がする ( 個人の感想) 33 / 36
34. server streaming 使うと、たしかにサーバーからの push が簡単にかけそう・・・？ 34 / 36
35. bidirectional はエラー処理や状態を考えると、 かえって色々自由すぎて面倒・・・？ 誰か良いユースケースがあったら逆に教えて欲しい 35 / 36
36. 質問コーナーや、ライブコーディング 36 / 36