Spanner Low Level APIは何が「Low」なのか

Slide 1

Slide 1 text

Spanner Low level API は何が「Low 」なのか Keke (Twitter: @_k_e_k_e) GCPUG YOKOHAMA 2019/09/18

Slide 2

Slide 2 text

$ WHO I AM Keke (Twitter: @_k_e_k_e) New Grads Merpay.inc SRE Team Cashless and Chaos engineering are my interest Twitter: https://twitter.com/_k_e_k_e

Slide 3

Slide 3 text

⽬的

Slide 4

Slide 4 text

Cloud Spanner Low Level API を知ることによって Spanner について理解を深め Client Library について興味を持ってもらうこと

Slide 5

Slide 5 text

Cloud Spanner Low Level API を知ることによって Spanner について理解を深め Client Library について興味を持ってもらうこと Spanner 界隈が盛り上がると嬉しい:)

Slide 6

Slide 6 text

1 Self Introduction Todays Talk API Level 2 3 Spanner Client ４ Raw gRPC 5 Spanner Low Level API

Slide 7

Slide 7 text

MERPAY'S 4 LAYER ARCHITECTURE 5-Step Ordering Process 1 Client, Merchant 2 API Gateway 3 API Service 4 Backend Service

Slide 8

Slide 8 text

API Level

Slide 9

Slide 9 text

02 03 04 01 ⽤途に応じてラッピングラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Spanner Client

Slide 14

Slide 14 text

Spanner Client の基礎

Slide 15

Slide 15 text

Spanner Client の基礎例: 簡単なSELECT ⽂ Statement を作成

Slide 16

Slide 16 text

Spanner Client の基礎 Spanner client を作成

Slide 17

Slide 17 text

Spanner Client の基礎トランザクションを⾏う

Slide 18

Slide 18 text

Spanner Low Level API

Slide 19

Slide 19 text

02 03 04 01 ⽤途に応じてラッピングラッパーパッケージ googleapis/google-cloud-go/spanner Spanner のクライアントパッケージ google.golang.org/genproto/googlea pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS メリットなし

Slide 20

Slide 20 text

API LEVELS google.golang.org/genproto/googleapis/spanner/admin/instance/v1 ・インスタンス⾃体に関わる API google.golang.org/genproto/googleapis/spanner/admin/database/v1 ・データベース⾃体に関わる API google.golang.org/genproto/googleapis/spanner/v1 ・データベース操作に関わる API Spanner Low Level API に相当するもの Admin API に相当するもの Admin API に相当するもの

Slide 21

Slide 21 text

Dive into Spanner Client ここでは何をしているのか？ Client 作成とRPC

Slide 22

Slide 22 text

Dive into Spanner Client (Client part) Google API を呼び出すための gRPC Client を作成している NewClient

Slide 23

Slide 23 text

Dive into Spanner Client (Client part) https://github.com/googleapis/google-cloud-go/blob/3091fb2e285e8d80c4266000a6eeb05cacc61e28/spanner/apiv1/spanner_client.go#L126-L145 ( 注) この部分はspanner.NewClient() によって間接的に呼ばれている Cloud Spanner API を呼び出すためのConnection を作成

Slide 24

Slide 24 text

Dive into Spanner Client (Client part) https://github.com/googleapis/google-cloud-go/blob/3091fb2e285e8d80c4266000a6eeb05cacc61e28/spanner/apiv1/spanner_client.go#L139 gRPC Client を作成

Slide 25

Slide 25 text

Dive into Spanner Client (RPC part) Google API に対してRPC を⾏っている RPC

Slide 26

Slide 26 text

Dive into Spanner Client (RPC part) SQL を実⾏するリクエスト RPC https://github.com/googleapis/go-genproto/blob/1774047e7e5133fa3573a4e51b37a586b6b0360c/googleapis/spanner/v1/spanner.pb.go#L517-L591 ( 注) この部分はQuery() によって間接的に呼ばれている

Slide 27

Slide 27 text

gRPC クライアントを作って Request すればいい

Slide 28

Slide 28 text

Spanner Low Level API

Slide 29

Slide 29 text

なにができるの？

Slide 30

Slide 30 text

Client を作成しよう

Slide 31

Slide 31 text

Client を作成する google.golang.org/api/transport/grpc を使う・ Google API を使うための gRPC クライアント

Slide 32

Slide 32 text

Google API のためのgRPC Client の作成

Slide 33

Slide 33 text

1. Manage Session

Slide 34

Slide 34 text

Session とは gRPC ChannelとSpanner Sessionの関係 (引用: 「gRPC Channel と Cloud Spanner Session の関係」詳解 google-cloud-go/spanner — セッション管理編 http://bit.ly/2QeroOk)

Slide 35

Slide 35 text

Session とは Low Level API でできること・ CreateSession ・ Session を作成・ GetSession ・ Session を作成・ DeleteSession ・ Session を削除・ ListSession ・ Session を列挙

Slide 36

Slide 36 text

注意: Session のLabel とFilter について Session はデータベースが保有するものなので他のClient のSession を消さないように => 識別するためのLabel とFilter

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Session とは Session が増減するタイミング・ Session Pool Manager によって作成・削除・ DB オペレーションの Read / Write に応じて Session を保持する理由・ Session は⾼価である Session の注意点・ Session リークなど・使わない Session を Session Pool に返さないデータベースが保持する全 Session の ApproximentLastUseTime などをモニタリングして、リークしてそうな、または使⽤頻度の悪い Session を削除する

Slide 39

Slide 39 text

2. Manage Transaction

Slide 40

Slide 40 text

Transaction ReadWriteTransaction(): 読み書きトランザクション ReadTransaction(): 読み専⽤トランザクション

Slide 41

Slide 41 text

Transaction ReadWriteTransaction(): 読み書きトランザクション 1. BeginTransactionRequest 2. ExecuteSQLRequest 3. CommitRequest ReadTransaction(): 読み専⽤トランザクション 1. BeginTransactionRequest 2. ExecuteSQLRequest

Slide 42

Slide 42 text

Transaction ReadWriteTransaction() → Apply() 1. BeginTransactionRequest 2. ExecuteSQLRequest 3. CommitRequest ReadTransaction() → Single() 1. BeginTransactionRequest 2. ExecuteSQLRequest → CommitRequest → ExecuteSQLRequest Temporary な Transaction 。 API 的には Transaction を指定していないだけ

Slide 43

Slide 43 text

ExecuteSQL Query Mode 1 3 実⾏結果だけ返ってくる NORMAL 実⾏計画が返ってくる PLAN 実⾏計画 + 実⾏結果 + 統計情報が返ってくる PROFILE 2 3 ExecuteSQL Query Mode https://cloud.google.com/spanner/docs/reference/rpc/goo gle.spanner.v1#google.spanner.v1.ExecuteSqlRequest.Qu eryMode

Slide 44

Slide 44 text

Raw gRPC

Slide 45

Slide 45 text

Slide 46

Slide 46 text

RAW GRPC から実装するメリットとデメリットメリット・特にないデメリット・⾃分で DialOptions を設定する必要がある・ Credentials 関連・ func WithPerRPCCredentials(creds credentials.PerRPCCredentials) DialOption ・ func WithTransportCredentials(creds credentials.TransportCredentials) DialOption ・ User Agent の設定・ func WithUserAgent(s string) DialOption

Slide 47

Slide 47 text

メリットデメリット・特にない・⾃分で DialOptions を設定する必要がある・ Credentials 関連・ func WithPerRPCCredentials(creds credentials.PerRPCCredentials) DialOption ・ func WithTransportCredentials(creds credentials.TransportCredentials) DialOption ・ User Agent の設定・ func WithUserAgent(s string) DialOption まとめてくれる Google のサービスを呼び出すための gRPC クライアントを使う google.golang.org/api/transport/grpc RAW GRPC から実装するメリットとデメリット

Slide 48

Slide 48 text

gRPC Client は google.golang.org/api/transport/grpc を使おうただそれだけ

Slide 49

Slide 49 text

02 03 04 01 ⽤途に応じてラッピング Rapper Client googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS メリットなし

Slide 50

Slide 50 text

まとめ

Slide 51

Slide 51 text

Slide 52

Slide 52 text

何が「Low 」だったのか・ Session は勝⼿に作られるものだった・ gRPC のコネクションを繋いだ移⾏を操作できる・ Session を指定して Transaction を⾛らせることも・ Session の Metadata を取得などなど Session レベル 1. 2. Transaction レベル・ Transaction を作る → Close するだけだった・データベースの Transaction 操作・ Transaction ID で⼀意に決まってるので、それをもとに・トランザクションの中の複数 gRPC リクエストが存在していた

Slide 53

Slide 53 text

Spanner low Level API の使い時キャパシティマネジメント 1. ・ Session leak の発⾒・アプリケーション

Slide 54

Slide 54 text

Thank you :) Keke Twitter: @_k_e_k_e