Spanner Autoscaler

Transcript

1. @micnncim
 Spanner Autoscaler
 merpay infra talk #5


2. @micnncim
 Expert Team Intern


3. Spanner オートスケールしない問題
 Kubernetes Operator とは
 Spanner Autoscaler の紹介
 01 02

   03

4. Spanner オートスケールしない問題
 4

5. トラフィックに応じたノード数を設定できない 
 突発的な高トラフィックに対応できない 
 オートスケールしないと何が困るか
 高トラフィック対策にノード数を余分に多く設定すると トラフィックが小さいときにコストが余分に発生する 


6. https://medium.com/google-cloud-jp/cloud-spanner-のハイレベルアーキテクチャ解説-fee62c17f7ed
 Spanner ハイレベルアーキテクチャ


7. R/W を実行するコンピュートリソース ノードには直接ローカルストレージはアタッチされない Spanner における Node の役割
 データ自体は分散ファイルシステムに保存される

8. Kubernetes Operator とは
 8

9. Kubernetes では多数の Controller が動いている Controller は Deployment, Service など Resource

   が 宣言された Desired State になるように動く = Reconciliation Loop Kubernetes Controller 101
 Controller は自作してデプロイすることが出来る = Custom Controller Resource も独自に作ることが出来る = CRD (Custom Resource Definition) Custom Controller と CRD で Stateful なアプリケーションを自動化 = Operator

10. Kubernetes Controller 101


11. Kubernetes Operator


12. kubernetes/client-go, kubernetes/code-generator kubernetes-sigs/kubebuilder Custom Controller を開発するには？
 operator-framework/operator-sdk GoogleCloudPlatform/metacontroller

13. Spanner Autoscaler の紹介
 13

14. Spanner のオートスケールを行う Kubernetes Operator Horizontal Pod Autoscaler に影響を受けている Spanner Autoscaler


    kubebuilder を利用 本番 Microservices に導入予定 & OSS 化予定

15. 宣言的に設定を記述したい Reconciliation Loop がオートスケールの用途に合う Why use Kubernetes Operator?


16. Spanner Autoscaler: CRD
 ❖ spec.scaleTargetRef.instanceId スケール対象の Instance ID ❖ spec.minNodes

    スケール時の最小 Node 数 ❖ spec.maxNodes: スケール時の最大 Node 数 ❖ targetCPUUtilization.highPriority スケール後の目標となる 優先度の高いユーザータスクと 優先度の高いシステムタスクの 合計 CPU 使用率

17. ARCHITECURE

18. Reconciler: Resource に対して最適な Node 数を計算し Reconciliation Loop を実行 Syncer: 各

    Resource を Google Cloud API で取得した Spanner Instance の状態と同期 Spanner Autoscaler: Inside


19. Spanner Autoscaler を使えば Spanner でもオートスケールできる！
 Kubernetes Custom Controller で 様々なリソース・アプリケーションの自動化が可能

    まとめ