Spanner Low Level APIは何が「Low」なのか

46fdd2ebc85d68659b83d5eb5c6a49aa?s=47 Keke
September 18, 2019

Spanner Low Level APIは何が「Low」なのか

46fdd2ebc85d68659b83d5eb5c6a49aa?s=128

Keke

September 18, 2019
Tweet

Transcript

  1. Spanner Low level API は何が「Low 」なのか Keke (Twitter: @_k_e_k_e) GCPUG

    YOKOHAMA 2019/09/18
  2. $ WHO I AM Keke (Twitter: @_k_e_k_e) New Grads Merpay.inc

    SRE Team Cashless and Chaos engineering are my interest Twitter: https://twitter.com/_k_e_k_e
  3. ⽬的

  4. Cloud Spanner Low Level API を知ることによって Spanner について理解を深め Client Library

    について興味を持ってもらうこと
  5. Cloud Spanner Low Level API を知ることによって Spanner について理解を深め Client Library

    について興味を持ってもらうこと Spanner 界隈が盛り上がると嬉しい:)
  6. 1 Self Introduction Todays Talk API Level 2 3 Spanner

    Client 4 Raw gRPC 5 Spanner Low Level API
  7. MERPAY'S 4 LAYER ARCHITECTURE 5-Step Ordering Process 1 Client, Merchant

    2 API Gateway 3 API Service 4 Backend Service
  8. API Level

  9. 02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea

    pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS
  10. 02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea

    pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC よく使うのはSpanner Client かラッパー
  11. 02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea

    pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC ラッパーはSpanner Client を ラッピングため多種多様
  12. 02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea

    pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC 基本的にはSpanner Client を使う
  13. Spanner Client

  14. Spanner Client の基礎

  15. Spanner Client の基礎 例: 簡単なSELECT ⽂ Statement を作成

  16. Spanner Client の基礎 Spanner client を作成

  17. Spanner Client の基礎 トランザクションを⾏う

  18. Spanner Low Level API

  19. 02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner のクライアントパッケージ google.golang.org/genproto/googlea

    pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS メリットなし
  20. API LEVELS google.golang.org/genproto/googleapis/spanner/admin/instance/v1 ・インスタンス⾃体に関わる API google.golang.org/genproto/googleapis/spanner/admin/database/v1 ・データベース⾃体に関わる API google.golang.org/genproto/googleapis/spanner/v1 ・データベース操作に関わる

    API Spanner Low Level API に相当するもの Admin API に相当するもの Admin API に相当するもの
  21. Dive into Spanner Client ここでは何をしているのか? Client 作成とRPC

  22. Dive into Spanner Client (Client part) Google API を呼び出すための gRPC

    Client を作成している NewClient
  23. Dive into Spanner Client (Client part) https://github.com/googleapis/google-cloud-go/blob/3091fb2e285e8d80c4266000a6eeb05cacc61e28/spanner/apiv1/spanner_client.go#L126-L145 ( 注) この部分はspanner.NewClient()

    によって間接的に呼ばれている Cloud Spanner API を呼び出すため のConnection を作成
  24. Dive into Spanner Client (Client part) https://github.com/googleapis/google-cloud-go/blob/3091fb2e285e8d80c4266000a6eeb05cacc61e28/spanner/apiv1/spanner_client.go#L139 gRPC Client を作成

  25. Dive into Spanner Client (RPC part) Google API に対してRPC を⾏っている

    RPC
  26. Dive into Spanner Client (RPC part) SQL を実⾏するリクエスト RPC https://github.com/googleapis/go-genproto/blob/1774047e7e5133fa3573a4e51b37a586b6b0360c/googleapis/spanner/v1/spanner.pb.go#L517-L591

    ( 注) この部分はQuery() によって間接的に呼ばれている
  27. gRPC クライアントを作って Request すればいい

  28. Spanner Low Level API

  29. なにができるの?

  30. Client を作成しよう

  31. Client を作成する google.golang.org/api/transport/grpc を使う ・ Google API を使うための gRPC クライアント

  32. Google API のためのgRPC Client の作成

  33. 1. Manage Session

  34. Session とは gRPC ChannelとSpanner Sessionの関係 (引用: 「gRPC Channel と Cloud

    Spanner Session の関係」 詳解 google-cloud-go/spanner — セッション管理編 http://bit.ly/2QeroOk)
  35. Session とは Low Level API でできること ・ CreateSession ・ Session

    を作成 ・ GetSession ・ Session を作成 ・ DeleteSession ・ Session を削除 ・ ListSession ・ Session を列挙
  36. 注意: Session のLabel とFilter について Session はデータベースが保有するものなので 他のClient のSession を消さないように

    => 識別するためのLabel とFilter
  37. Session とは Session が増減するタイミング ・ Session Pool Manager によって作成・削除 ・

    DB オペレーションの Read / Write に応じて Session を保持する理由 ・ Session は⾼価である Session の注意点 ・ Session リークなど ・使わない Session を Session Pool に返さない
  38. Session とは Session が増減するタイミング ・ Session Pool Manager によって作成・削除 ・

    DB オペレーションの Read / Write に応じて Session を保持する理由 ・ Session は⾼価である Session の注意点 ・ Session リークなど ・使わない Session を Session Pool に返さない データベースが保持する全 Session の ApproximentLastUseTime などを モニタリングして、リークしてそうな、または使⽤頻度の悪い Session を削除する
  39. 2. Manage Transaction

  40. Transaction ReadWriteTransaction(): 読み書きトランザクション ReadTransaction(): 読み専⽤トランザクション

  41. Transaction ReadWriteTransaction(): 読み書きトランザクション 1. BeginTransactionRequest 2. ExecuteSQLRequest 3. CommitRequest ReadTransaction():

    読み専⽤トランザクション 1. BeginTransactionRequest 2. ExecuteSQLRequest
  42. Transaction ReadWriteTransaction() → Apply() 1. BeginTransactionRequest 2. ExecuteSQLRequest 3. CommitRequest

    ReadTransaction() → Single() 1. BeginTransactionRequest 2. ExecuteSQLRequest → CommitRequest → ExecuteSQLRequest Temporary な Transaction 。 API 的には Transaction を指定していないだけ
  43. ExecuteSQL Query Mode 1 3 実⾏結果だけ返ってくる NORMAL 実⾏計画が返ってくる PLAN 実⾏計画

    + 実⾏結果 + 統計情報が返ってくる PROFILE 2 3 ExecuteSQL Query Mode https://cloud.google.com/spanner/docs/reference/rpc/goo gle.spanner.v1#google.spanner.v1.ExecuteSqlRequest.Qu eryMode
  44. Raw gRPC

  45. 02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner のクライアントパッケージ google.golang.org/genproto/googlea

    pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS
  46. RAW GRPC から実装するメリットとデメリット メリット ・特にない デメリット ・⾃分で DialOptions を設定する必要がある ・

    Credentials 関連 ・ func WithPerRPCCredentials(creds credentials.PerRPCCredentials) DialOption ・ func WithTransportCredentials(creds credentials.TransportCredentials) DialOption ・ User Agent の設定 ・ func WithUserAgent(s string) DialOption
  47. メリット デメリット ・特にない ・⾃分で DialOptions を設定する必要がある ・ Credentials 関連 ・

    func WithPerRPCCredentials(creds credentials.PerRPCCredentials) DialOption ・ func WithTransportCredentials(creds credentials.TransportCredentials) DialOption ・ User Agent の設定 ・ func WithUserAgent(s string) DialOption まとめてくれる Google のサービスを呼び出すための gRPC クライアントを使う google.golang.org/api/transport/grpc RAW GRPC から実装するメリットとデメリット
  48. gRPC Client は google.golang.org/api/transport/grpc を使おう ただそれだけ

  49. 02 03 04 01 ⽤途に応じてラッピング Rapper Client googleapis/google-cloud-go/spanner Spanner Client

    google.golang.org/genproto/googlea pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS メリットなし
  50. まとめ

  51. 02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea

    pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS
  52. 何が「Low 」だったのか ・ Session は勝⼿に作られるものだった ・ gRPC のコネクションを繋いだ移⾏を操作できる ・ Session

    を指定して Transaction を⾛らせることも ・ Session の Metadata を取得などなど Session レベル 1. 2. Transaction レベル ・ Transaction を作る → Close するだけだった ・データベースの Transaction 操作 ・ Transaction ID で⼀意に決まってるので、それをもとに ・ トランザクションの中の複数 gRPC リクエストが存在していた
  53. Spanner low Level API の使い時 キャパシティマネジメント 1. ・ Session leak

    の発⾒ ・アプリケーション
  54. Thank you :) Keke Twitter: @_k_e_k_e