Share
Embed
気をつけたいKubernetesとの付き合い方 / Happy Kubernetes Life
go_vargo
December 10, 2020
Transcript
28 slides
-
今日の発表 • Kubernetesは分散システムかつ分散コンポーネントで複雑 ◦ Event Driven, Asynchronous • そんなKubernetesと触れ合う上で、気をつけたいことを徒然 なるままに書きました
• KubernetesをWebアプリケーション基盤として使っているパ ターンで考えています • Production Ready観点ではないので、ご注意ください • すべて個人の見解です -
Agenda • 気をつけよう! スケジューリング • 気をつけよう! オートスケール • 気をつけよう! DNS
• 気をつけよう! モニタリング • 知っておこう! トラブルシューティング • まとめ -
スケジューリングの要素分解 • 複数のNode (+NodePool, NodeGroup) • Resources/Limits • Qos Class
• NodeSelector • Taints/Tolerations • Affinity • Auto Scaler • PriorityClassによるPreemption -
スケジューリングの要素分解 • 複数のNode (+NodePool, NodeGroup) • Resources/Limits • Qos Class
• NodeSelector • Taints/Tolerations • Affinity • Auto Scaler • PriorityClassによるPreemption -
PriorityClassによるPreemption apiVersion: scheduling.k8s.io/v1 kind: PriorityClass metadata: name: system-cluster-critical value: 2000000000
description: Used for system critical pods system-cluster-critical priority: 2000000000 priority: 0 Preemption = Pod Delete 容量一杯のNode Autoscalerによる スケジューリング -
オートスケールの注意点 ※一部のみ • オートスケールのTargetに対して、行ったり来たりが頻繁に来ると Replicasが増えたり減ったりを繰り返すと、アプリケーションの種類に よっては迷惑に... • 急なスパイクが来ると、NodeやPodのプロビジョニングが間に合わない こともある ◦
過負荷で502が多発することも ◦ だいたい事前にPod数を増やしておくしかない • オートスケールの閾値は定期的に見直しましょう ◦ 実際の負荷と要相談 -
resolv.conf - ClusterFirst 複数のsearch domains と ndots: 5が設定される 問い合わせ名が「ドット数 <
ndots:5 」だとsearch domainと組み合わせて 問い合わせする nameserver 10.96.0.10 search <NS>.svc.cluster.local svc.cluster.local cluster.local options ndots:5 /etc/resolv.conf ※Kubernetesの種類によって微妙に違う。これはMinikube 例: Service「nginx-service」 nginx-service nginx-service.cluster.local nginx-service.svc.cluster.local nginx-service.<NS>.svc.cluster.local ※ 実際はsearchの先頭から試行する -
resolv.conf - ClusterFirst 例: Service「nginx-service」 nginx-service nginx-service.cluster.local nginx-service.svc.cluster.local nginx-service.<NS>.svc.cluster.local A(IPv4)/AAAA(IPv6)
A(IPv4)/AAAA(IPv6) A(IPv4)/AAAA(IPv6) A(IPv4)/AAAA(IPv6) ここにIPv4/IPv6のクエリが加わるので、FQDNでなかったりAbsolute Domain Name でないと、DNSに対して余分なクエリを発行してしまう nginx-service.default.svc.cluster.local nginx-service.default.svc.cluster.local. Absolute Domain Name FQDN but not Absolute 末尾にドット(.)あり -
DNSの注意点 ※一部のみ • Kubernetes上で、名前解決をするときは余分なクエリが発行されないよ うに、Absolute Domain Nameで書くようにする • 大規模だったり高負荷なシステムの場合は、Node Local
DNS Cacheの有 効化も考える ◦ https://kubernetes.io/ja/docs/tasks/administer-cluster/nodel ocaldns/ It’s not DNS. There’s no way it’s DNS. It was DNS. ~ It’s always DNS ~ -
Prometheusと私の5の約束 1. なるべくたくさんのメモリを用意してあげてください 2. Prometheusは長期保存に向いていません。Retentionは短めに 3. 不要なScrapeターゲット(とexporter)は追加しないでください 4. 不要なMetricsは(可能なら)Dropしてください 5.
どうしても長期保存したい場合は、長期保存用のストレージと組み合わせ て使ってください -
モニタリング(Prometheus)の注意点 ※一部のみ • Prometheusは長期保存には向いていません • Prometheusのメトリクスデータを長期保存したい場合は、長期保存用の プロダクトと組み合わせてください ◦ Cortex ◦
Thanos ◦ Victoria Metrics ◦ M3DB • PrometheusはMetricsのScrapeにだけ集中させてあげると、安定する印 象です -
SSH & journalctl $ ssh worker-XX $ systemctl status kubelet
# kubeletのログチェック $ journalctl -u kubelet 引用: https://kubernetes.io/ja/docs/concepts/overview/components/