Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Spanner Low Level APIは何が「Low」なのか
Keke
September 18, 2019
Technology
1
580
Spanner Low Level APIは何が「Low」なのか
Keke
September 18, 2019
Tweet
Share
More Decks by Keke
See All by Keke
リモートワークを支える勤怠管理 ~プラットフォームとしてのSlackの活用 ~
keisukeyamashita
0
420
Serving GitHub Actions Self-Hosted Runner as a Platform (Part 1: Introduction)
keisukeyamashita
0
79
Serverlessを取り巻く現状とAll Serverlessでプロダクトを構築する苦労
keisukeyamashita
10
2.8k
Spinnakerで実践するマイクロサービスの 安全なリリースフローとベストプラクティス
keisukeyamashita
3
820
Spinnaker Application management by Terraform Plugins
keisukeyamashita
2
520
Open Policy AgentとSpinnakerで実現するマイクロサービスの安全な継続的デリバリー
keisukeyamashita
8
5.7k
How to develop a custom Terraform
[email protected]
SRE Tech Talk
keisukeyamashita
0
270
Introduction to Spinnaker Managed Pipeline Templates
keisukeyamashita
3
4.2k
Cloud Runでシステムを作るためのアーキテクチャのTipsとコストの話
keisukeyamashita
3
1.1k
Other Decks in Technology
See All in Technology
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
shonansurvivors
0
250
KyvernoとRed Hat ACMを用いたマルチクラスターの一元的なポリシー制御
ry
0
180
「一通りできるようになった」その先の話
hitomi___kt
0
120
Raspberry Pi Camera 3 介紹
piepie_tw
PRO
0
150
AWS re:Invent 2022で発表された新機能を試してみた ~Cloud OperationとSecurity~ / New Cloud Operation and Security Features Announced at AWS reInvent 2022
yuj1osm
1
210
スクラム導入して変わったチーム、組織のありかた
yumechi
0
190
マイクロサービス宣言から8年 振り返りとこれから / Eight Years After the Microservices Declaration A Look Back and A Look Ahead
eisuke
2
160
ラズパイとGASで加湿器の消し忘れをLINEでリマインド&操作
minako__ph
0
150
Periodic Multi-Agent Path Planning
hziwara
0
110
オブザーバビリティのベストプラクティスと弥生の現状 / best practices for observability and YAYOI’s current state
yayoi_dd
0
100
OpenShiftクラスターのアップグレード自動化への挑戦! / OpenShift Cluster Upgrade Automation
skitamura7446
0
150
データ分析基盤の要件分析の話(202201_JEDAI)
yabooun
0
270
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
38
3.6k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
101
6.2k
Intergalactic Javascript Robots from Outer Space
tanoku
261
26k
What's new in Ruby 2.0
geeforr
336
30k
5 minutes of I Can Smell Your CMS
philhawksworth
198
18k
YesSQL, Process and Tooling at Scale
rocio
159
12k
Facilitating Awesome Meetings
lara
33
4.6k
Imperfection Machines: The Place of Print at Facebook
scottboms
254
12k
No one is an island. Learnings from fostering a developers community.
thoeni
12
1.5k
A Tale of Four Properties
chriscoyier
149
21k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
6
840
Side Projects
sachag
451
37k
Transcript
Spanner Low level API は何が「Low 」なのか Keke (Twitter: @_k_e_k_e) GCPUG
YOKOHAMA 2019/09/18
$ WHO I AM Keke (Twitter: @_k_e_k_e) New Grads Merpay.inc
SRE Team Cashless and Chaos engineering are my interest Twitter: https://twitter.com/_k_e_k_e
⽬的
Cloud Spanner Low Level API を知ることによって Spanner について理解を深め Client Library
について興味を持ってもらうこと
Cloud Spanner Low Level API を知ることによって Spanner について理解を深め Client Library
について興味を持ってもらうこと Spanner 界隈が盛り上がると嬉しい:)
1 Self Introduction Todays Talk API Level 2 3 Spanner
Client 4 Raw gRPC 5 Spanner Low Level API
MERPAY'S 4 LAYER ARCHITECTURE 5-Step Ordering Process 1 Client, Merchant
2 API Gateway 3 API Service 4 Backend Service
API Level
02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea
pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS
02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea
pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC よく使うのはSpanner Client かラッパー
02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea
pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC ラッパーはSpanner Client を ラッピングため多種多様
02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea
pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC 基本的にはSpanner Client を使う
Spanner Client
Spanner Client の基礎
Spanner Client の基礎 例: 簡単なSELECT ⽂ Statement を作成
Spanner Client の基礎 Spanner client を作成
Spanner Client の基礎 トランザクションを⾏う
Spanner Low Level API
02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner のクライアントパッケージ google.golang.org/genproto/googlea
pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS メリットなし
API LEVELS google.golang.org/genproto/googleapis/spanner/admin/instance/v1 ・インスタンス⾃体に関わる API google.golang.org/genproto/googleapis/spanner/admin/database/v1 ・データベース⾃体に関わる API google.golang.org/genproto/googleapis/spanner/v1 ・データベース操作に関わる
API Spanner Low Level API に相当するもの Admin API に相当するもの Admin API に相当するもの
Dive into Spanner Client ここでは何をしているのか? Client 作成とRPC
Dive into Spanner Client (Client part) Google API を呼び出すための gRPC
Client を作成している NewClient
Dive into Spanner Client (Client part) https://github.com/googleapis/google-cloud-go/blob/3091fb2e285e8d80c4266000a6eeb05cacc61e28/spanner/apiv1/spanner_client.go#L126-L145 ( 注) この部分はspanner.NewClient()
によって間接的に呼ばれている Cloud Spanner API を呼び出すため のConnection を作成
Dive into Spanner Client (Client part) https://github.com/googleapis/google-cloud-go/blob/3091fb2e285e8d80c4266000a6eeb05cacc61e28/spanner/apiv1/spanner_client.go#L139 gRPC Client を作成
Dive into Spanner Client (RPC part) Google API に対してRPC を⾏っている
RPC
Dive into Spanner Client (RPC part) SQL を実⾏するリクエスト RPC https://github.com/googleapis/go-genproto/blob/1774047e7e5133fa3573a4e51b37a586b6b0360c/googleapis/spanner/v1/spanner.pb.go#L517-L591
( 注) この部分はQuery() によって間接的に呼ばれている
gRPC クライアントを作って Request すればいい
Spanner Low Level API
なにができるの?
Client を作成しよう
Client を作成する google.golang.org/api/transport/grpc を使う ・ Google API を使うための gRPC クライアント
Google API のためのgRPC Client の作成
1. Manage Session
Session とは gRPC ChannelとSpanner Sessionの関係 (引用: 「gRPC Channel と Cloud
Spanner Session の関係」 詳解 google-cloud-go/spanner — セッション管理編 http://bit.ly/2QeroOk)
Session とは Low Level API でできること ・ CreateSession ・ Session
を作成 ・ GetSession ・ Session を作成 ・ DeleteSession ・ Session を削除 ・ ListSession ・ Session を列挙
注意: Session のLabel とFilter について Session はデータベースが保有するものなので 他のClient のSession を消さないように
=> 識別するためのLabel とFilter
Session とは Session が増減するタイミング ・ Session Pool Manager によって作成・削除 ・
DB オペレーションの Read / Write に応じて Session を保持する理由 ・ Session は⾼価である Session の注意点 ・ Session リークなど ・使わない Session を Session Pool に返さない
Session とは Session が増減するタイミング ・ Session Pool Manager によって作成・削除 ・
DB オペレーションの Read / Write に応じて Session を保持する理由 ・ Session は⾼価である Session の注意点 ・ Session リークなど ・使わない Session を Session Pool に返さない データベースが保持する全 Session の ApproximentLastUseTime などを モニタリングして、リークしてそうな、または使⽤頻度の悪い Session を削除する
2. Manage Transaction
Transaction ReadWriteTransaction(): 読み書きトランザクション ReadTransaction(): 読み専⽤トランザクション
Transaction ReadWriteTransaction(): 読み書きトランザクション 1. BeginTransactionRequest 2. ExecuteSQLRequest 3. CommitRequest ReadTransaction():
読み専⽤トランザクション 1. BeginTransactionRequest 2. ExecuteSQLRequest
Transaction ReadWriteTransaction() → Apply() 1. BeginTransactionRequest 2. ExecuteSQLRequest 3. CommitRequest
ReadTransaction() → Single() 1. BeginTransactionRequest 2. ExecuteSQLRequest → CommitRequest → ExecuteSQLRequest Temporary な Transaction 。 API 的には Transaction を指定していないだけ
ExecuteSQL Query Mode 1 3 実⾏結果だけ返ってくる NORMAL 実⾏計画が返ってくる PLAN 実⾏計画
+ 実⾏結果 + 統計情報が返ってくる PROFILE 2 3 ExecuteSQL Query Mode https://cloud.google.com/spanner/docs/reference/rpc/goo gle.spanner.v1#google.spanner.v1.ExecuteSqlRequest.Qu eryMode
Raw gRPC
02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner のクライアントパッケージ google.golang.org/genproto/googlea
pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS
RAW GRPC から実装するメリットとデメリット メリット ・特にない デメリット ・⾃分で DialOptions を設定する必要がある ・
Credentials 関連 ・ func WithPerRPCCredentials(creds credentials.PerRPCCredentials) DialOption ・ func WithTransportCredentials(creds credentials.TransportCredentials) DialOption ・ User Agent の設定 ・ func WithUserAgent(s string) DialOption
メリット デメリット ・特にない ・⾃分で DialOptions を設定する必要がある ・ Credentials 関連 ・
func WithPerRPCCredentials(creds credentials.PerRPCCredentials) DialOption ・ func WithTransportCredentials(creds credentials.TransportCredentials) DialOption ・ User Agent の設定 ・ func WithUserAgent(s string) DialOption まとめてくれる Google のサービスを呼び出すための gRPC クライアントを使う google.golang.org/api/transport/grpc RAW GRPC から実装するメリットとデメリット
gRPC Client は google.golang.org/api/transport/grpc を使おう ただそれだけ
02 03 04 01 ⽤途に応じてラッピング Rapper Client googleapis/google-cloud-go/spanner Spanner Client
google.golang.org/genproto/googlea pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS メリットなし
まとめ
02 03 04 01 ⽤途に応じてラッピング ラッパーパッケージ googleapis/google-cloud-go/spanner Spanner Client google.golang.org/genproto/googlea
pis/spanner/v1 Spanner Low Level API gRPC のレベルからSpanner Low Level API を叩く Raw gRPC API LEVELS
何が「Low 」だったのか ・ Session は勝⼿に作られるものだった ・ gRPC のコネクションを繋いだ移⾏を操作できる ・ Session
を指定して Transaction を⾛らせることも ・ Session の Metadata を取得などなど Session レベル 1. 2. Transaction レベル ・ Transaction を作る → Close するだけだった ・データベースの Transaction 操作 ・ Transaction ID で⼀意に決まってるので、それをもとに ・ トランザクションの中の複数 gRPC リクエストが存在していた
Spanner low Level API の使い時 キャパシティマネジメント 1. ・ Session leak
の発⾒ ・アプリケーション
Thank you :) Keke Twitter: @_k_e_k_e