federated-cluster-on-gke

DevFest Tokyo 2017 でお話しした GKE クラスタを世界中に展開して管理するお話しです

Transcript

1. 　手軽に世界展開 Federated Clusters on GKE！ DevFest Tokyo 2017, Oct 9 Ryo NAKAMARU, SUPINF Inc. / Rescale, Inc.
2. 世界規模でのサービス展開
3. That has to work around the world
4. Be fast
5. And LessOps
6. GKE クラスタ構成 ＋ 環境変数を見てみよう デモ
7. 各国からの接続結果 https://www.geoscreenshot.com 7
8. 何が起きているの？ • 各国のユーザから 一番近い クラスタがサービスを提供している • グローバルな Web サービスを提供する ひとつ の方法として • 複数クラスタを管理する フェデレーション制御プレーン を利用 • Google Cloud らしい方法 でグローバルに負荷分散している 8
10. ステップバイステップ
11. 今日のお話 • Kubernetes • Google Container Engine (GKE) • クラスタフェデレーション • HTTP(S) Load Balancing • 運用上の課題など 11
12. Kubernetes • オープンソースのコンテナ管理プラットフォーム • コンテナは Pod という抽象単位で管理される • Pod のデプロイ、ロールバック、監視、再起動、スケールなどが楽 • コンテナのホストである node、それを管理する master で構成 • Google Cloud なら master の管理を代行してくれる GKE が便利 12
13. Kubernetes 13 master node node node コンテナを 起動する人 node を 管理する人
14. Kubernetes 14 master API server node node node pod pod アプリケーションや 管理用コンテナが それぞれ起動
15. Kubernetes 15 GUI Web .. CLI kubectl .. master API server node node node pod 2 個 起動して
16. Kubernetes 16 GUI Web .. CLI kubectl .. master API etcd server node node node
17. Kubernetes 17 master API controller manager etcd server node node node CLI kubectl .. GUI Web ..
18. Kubernetes pod 18 master API controller manager etcd server node node node CLI kubectl .. pod GUI Web ..
19. GKE GCE instance group GKE managed Google Container Engine (GKE) 19 Kubernetes master API controller manager etcd server node node node CLI kubectl .. GUI Web .. Google Cloud にお任せ
20. という GKE を使って・・
21. 21 「サービス落とさないでね」
22. 可用性を高める手段
23. Pod の自動修復 • k8s は 指定したレプリカ数、コンテナが動くよう調整してくれる • livenessProbe: 異常時に強制的な再起動が可能 • readinessProbe: リクエスト受付可能な時だけ Service 下に 23
24. ノードの自動修復 • ノードの自動修復（β 機能）を enable でクラスタを作ると 　ノードプール全体で自動修復機能が有効に 　参考: github.com/kubernetes/node-problem-detector 24 $ gcloud container clusters create ${cluster_name} \ --enable-autorepair
25. • ゾーンをまたいだ node の冗長化 （master のゾーン冗長化 + SLO 99.99% は現在アーリーアクセスを募集中） • 各ゾーンに num-nodes 台のインスタンスが起動 複数ゾーン 25 $ gcloud container clusters create ${cluster_name} \ --zone "${region}-a" --additional-zones “${region}-b,${region}-c" \ --num-nodes 1
26. $ gcloud container clusters create tokyo --num-nodes 2 \ --zone “asia-northeast1-a" --additional-zones “asia-northeast1-b,asia-northeast1-c" 複数ゾーン 26
27. 自動スケーリング • 自動スケーリング を enable でクラスタを作ると 　スケジュールされるすべてのポッドに実行場所が割り当たるよう 　クラスタサイズ が自動変更される。pod ではなく node のスケール。 　参考: github.com/kubernetes/autoscaler/tree/master/cluster-autoscaler 27 $ gcloud container clusters create ${cluster_name} \ --enable-autoscaling --min-nodes=1 --max-nodes=5
28. 　　　　Horizontal Pod Autoscaling 28 • CPU 使用率に応じて Pod 数が伸縮する。こちらは node でなく pod。 　GKE v1.8 以降では CPU 使用率以外のカスタムリソースに対応予定。 　参考: github.com/kubernetes/autoscaler/tree/master/cluster-autoscaler $ kubectl autoscale deployment ${deployment_name} \ --cpu-percent=70 --min=1 --max=2
29. そして
30. 30 「世界中、応答は 100 ms 以内で」
31. 各国にクラスタを作る .. ? • これまでは・・ ‣ クラスタを各国で起動 ‣ HTTP(S) Load Balancing のバックエンドに逐一追加 ‣ or Route53 のレンテンシベースルーティングを利用など • k8s には複数クラスタのサポートないの？ • あるよ、Google Cloud と統合された クラスタフェデレーション がね 31
32. 　Cluster Federation • 代替案の存在、実際の効果はさておいて・・ • 狙いは ‣ エンドユーザに最も近いクラスタを応答させ、レイテンシを下げたい ‣ 世界規模でサービスの可用性を高めたい ‣ もしくは複数のクラウド、オンプレミスで冗長化したい 32
33. 　Cluster Federation • フェデレーション制御プレーン (FCP) を起動し • 各クラスタをそこに参加させると • FCP が ‣ 配下クラスタの状況を随時把握し ‣ 自身が受けた API コールを配下クラスタに（いい感じに）伝播させる 33
34. 　Cluster Federation 34 GUI Web .. CLI kubectl .. etcd Federation control plane Federation API server controller manager Federation Cluster 1 API etcd server master API etcd server Cluster 2 master FCP
35. 　Cluster Federation 35 GUI Web .. CLI kubectl .. etcd Federation control plane Federation API server Cluster 1 API server master API server Cluster 2 master FCP pod 20 個 起動して
36. 　Cluster Federation 36 etcd Federation control plane Federation API server controller manager Federation Cluster 1 API etcd server master API etcd server Cluster 2 master FCP pod 10 個 起動して pod 10 個 起動して pod 20 個 起動して CLI kubectl .. GUI Web ..
37. 　Cluster Federation 37 ※ FCP はどこかの 　 クラスタにさえ 　 入っていれば OK！
38. 　Cluster Federation その作り方 ⇨ https://github.com/pottava/k8s-federated-clusters 38
39. 　Cluster Federation • 公式にサポートされた機能ではありません（SLA 対象外） • が、GKE として各 GCP サービスと絶賛統合中 ‣ Federated な Ingress と HTTP(S) Load Balancing ‣ Federated DNS と Cloud DNS ‣ .. 39
40. 　Google will support .. ! 40 “Google Container Engine - Kubernetes 1.8 takes advantage of the cloud built for containers“ https://cloudplatform.googleblog.com/ 2017/09/google-container-engine- kubernetes-18.html
41. Ingress で負荷分散
42. Service • 各アプリケーションへのエンドポイント • 特定 IP アドレス + ポートで サービスとして受けたリクエストを 　クラスタのどこかで起動している Pod へ転送してくれる • GKE ならサービス定義で type: LoadBalancer を指定すれば 　L4 の LB で簡単にサービスを外部公開できるものの、 　Cluster Federation では L7 を使うので NodePort を指定 42
43. Ingress 43 • クラスタ外部 からのアクセスを受け付ける • GKE なら GCE Load-Balancer Controller というアドオンのおかげで • Ingress を作るだけで、各 k8s リソースがよしなに関連づいた 　L7 ロードバランサ + 各種関連 GCP リソースが作られる （控えめに言って最高）
44. しかも Cluster Federation 下なら .. • Federation API Server に 　“Service 作って〜” とか “Ingress 作って〜” と依頼するだけで • 配下の 全クラスタ で同一のサービスが作られ • 1 つの L7 ロードバランサに 全クラスタが入る 44
45. 45 たった 1 度 の 命令で 1 つ の L7 ロードバランサに 全クラスタ のインスタンスグループが入る
46. HTTP(S) Load Balancing 46 • L7 ロードバランサ • 複数リージョンでも 単一 IP アドレスで 負荷分散が可能 • バックエンド自動切替えで、障害時フェイルオーバ／復旧時リバランス • パスベースで、バックエンドサービス ( k8s の Service ) を指定可能
47. HTTP(S) Load Balancing 47
48. HTTP(S) Load Balancing 48
49. HTTP(S) Load Balancing 49 • Premium ティア のネットワーク必須（デフォルト） • Standard ティアで作るとリージョナルなロードバランサに ‣ リージョンごとに 1 IP 必要 ‣ フォワーディングルールもリージョンごと ‣ アジアからの配信 ~10 TB $0.11/GB （Premium アジア内通信 $0.12/GB）
50. 「IP アドレス固定してね ♪」
51. 静的外部 IP アドレス • HTTP(S) Load Balancing へ割り当てれば IP を固定できる • compute addresses create --gl で で グローバル × 静的 な IP を確保！ • リージョナルな IP アドレスだと L7LB のバックエンドサービスとして 　異なるリージョンのインスタンスグループを同時に指定できない・・ （Ingress が作るデフォルトの外部 IP は、リージョナル × 動的） 51 $ compute addresses create --global
52. 52 Ingress with static IP • あとは以下のような定義で Ingress を作れば OK！ 　`my-external-ip` という名前の 外部 IP アドレス が LB に使われます apiVersion: extensions/v1beta1 kind: Ingress metadata: name: my-ingress annotations: kubernetes.io/ingress.global-static-ip-name: "my-external-ip" kubernetes.io/ingress.class: "gce" spec: backend: serviceName: my-service servicePort: 80
53. 「無停止アップデートいける？」
54. Zero Downtime Deployments • Federation API サーバに向かって話すのが、通常の GKE と唯一の違い • 単一クラスタの時と同じ指示 で OK ‣ Deployment でのローリングアップデート ‣ Deployment と Service を組み合わせて Blue/Green デプロイ 54
55. デモ 全世界のサービスを一挙に v2.0 へアップデート！ 55
56. 実運用のためのヒント
57. CAUTION　.
58. Cluster Federation 設定の注意点 58 • Cloud DNS を使う スコープ を FCP クラスタに渡す必要がある • type: NodePort ‣ Ingress が全リージョンのクラスタへ同一ポートで通信できるように ‣ service の `nodePort` は明示的に指定する必要がある • TLS 自動化に難あり: kube-lego などに頼れない証明書管理 • Authorized Networks（GKE）で接続元を縛るのも厳しい・・
59. そもそも大域的な負荷分散・・必要？ 59 • 監視、運用コストの増加に見合うだけの展開理由はあるのか・・ • Google Premium ネットワークそもそも強い ‣ CDN 挟めばよりレイテンシは下がる • データどこに持つの問題もでてくる ‣ Firestore？ Spanner？ Cloud Storage？
60. Cluster federation 関係ないけど
61. 自動スケーリングの注意点 61 • node 自動スケーリング ‣ 前提に注意。例) 全コンテナリスケジュール → 瞬断の可能性 ‣ https://cloud.google.com/container-engine/docs/cluster-autoscaler • pod 自動スケーリング ‣ ローリングアップデートするなら Deployment 経由が必須 • 設計は容易ではなく、簡単に可用性が向上するわけではない・・
62. パスベースルーティングの注意点 62 • 前方一致（not 完全一致）でバックエンドに流したい ‣ Nginx では起きないが GLBC では起きる問題 ‣ `path: /foo/*` と `path: /foo/*` を 2 つ定義すればOK • GCS への静的コンテンツルーティング ‣ Ingress から作った LB を編集できが、Ingress を更新すると・・ • ingress.kubernetes.io/rewrite-target: / ‣ prefix を外してバックエンドに流したい時のアノテーション
63. 「まだわからないことばかり・・」
64. FAQ Q. Federation API サーバにはどう繋ぐのがいいの？ A. そもそも FCP が落ちても稼働中サービスには影響がない ので 　NodePort + Firewall で接続元を縛るくらいでいいかも （ただし kubefed で作ってしまうと type: LoadBalancer） 　FCP クラスタはプリエンプティブインスタンスでも十分かも 64
65. FAQ Q. ロードバランサで HTTPS を受けるには？ A. フェデレーション下では kube-lego などがうまく動作しないため 　 証明書を取得し、ロードバランサのフロントエンドから直接編集。 65 例）$ certbot certonly --manual --domain your-domain.com \ 　　　 --email admin@your-domain.com \ 　　　 --agree-tos --manual-public-ip-logging-ok \ 　　　 --preferred-challenges dns
66. FAQ Q. ロードバランサで IPv6 を受けるには？ A. 別途 v6 の静的グローバル IP を取得し、 　 Ingress から通常通り v4 で作ったロードバランサの設定を変更。 66 $ gcloud compute addresses create ipv6 --ip-version IPV6 --global
67. FAQ Q. クラスタごとにレプリカの配置を設定できたりするの？ A. 67 apiVersion: extensions/v1beta1 kind: Deployment metadata: name: my-deploy annotations: federation.kubernetes.io/replica-set-preferences: | { "rebalance": true, "clusters": { "cluster-asia-northeast1": { "minReplicas": 2, "maxReplicas": 10, "weight": 1 }, "cluster-asia-east1": { ..
68. FAQ Q. ログの収集って何か特別なの必要？ A. フェデレーション下でもデフォルトでは Stackdriver に流れる。 　クラスタでフィルタする / しない もあり、ログ確認も捗る。 　コンテキストや時系列ごとに情報をまとめたい時などは 　Cloud SDK などで必要な整形を施してから転送することも可能。 　いずれにしても世界中の情報が簡単に集約できる Stackdriver とても楽！ 68
69. FAQ Q. メトリクスやトレース情報の収集は？ A. デフォルト --enable-cloud-monitoring & --enable-cloud-endpoints。 　カスタムな値も必要なら取れるが、初期状態でもメトリクスは豊富。 　運用するサービスが OpenAPI に準拠した REST API なら 　Pod にサイドカーコンテナを入れれば Cloud Endpoints 連携も簡単 69
70. 　Cloud Endpoints 70 世界中のアクセス状況などが、こんな情報として集約されます！
71. 　Cloud Endpoints 71 先日 Cloud Endpoints への 愛を語ってきました GKE でも使っていきたい https://speakerdeck.com/pottava/ cd-for-rest-apis-on-gae-with- cloud-endpoints-and-openapi
72. 情報収集
73. プレミアムサポートの検討 73 問い合わせた言語 で応答がきます。対応時間もチェックしておきましょう！
74. コミュニティの Slack Team に入ろう GCPUG https://goo.gl/qiGfsY 日本語の圧倒的安心感 その後 Twitter で職人探しが捗る 74
75. コミュニティの Slack Team に入ろう Google Cloud Platform Community https://gcp-slack.appspot.com/ 詳しい人だらけ 同じ悩みの人もきっといる 75
76. Podcast を聞こう 76 毎週 1 エピソード 通勤中 iPhone で 毎週冒頭の 5 分 だけでも有用
77. 他にもあるこんな情報源 77 YouTube、Medium、Cloud OnAir ..
78. Presented by
79. 中丸 良 @pottava • Google Certified Professional - Cloud Architect • CTO at SUPINF Inc • Solutions Architect at Rescale, Inc. Profile 79
80. Containerize your app! 80 • クラウド / コンテナ を強みにした受託開発運用、コンサルティング • 2015 年から Docker の本番運用を開始・豊富な CI / CD 事例 • スピンフ、と読みます・・
81. Cloud HPC with 81 • クラウド HPC シミュレーションプラットフォームの提供 • 2011 年初頭に設立、Peter Thiel や Microsoft から出資 • スケーラブルなシミュレーションや機械学習を！
82. ご静聴ありがとうございました :) 参考文献： • Kubernetes Cluster Federation (The Hard Way) ( https:// github.com/kelseyhightower/kubernetes-cluster-federation ) • Cluster Federation and Global Load Balancing on Kubernetes and Google Cloud - Part 1 ( https://medium.com/google-cloud/ planet-scale-microservices-with-cluster-federation-and-global-load- balancing-on-kubernetes-and-a8e7ef5efa5e ) • https://www.youtube.com/watch?v=kmPBm-TQBSE