Prometheus monitoring from outside of Kubernetes 〜どうして我々はKubernetes上のPrometheusを破壊したのか〜 #prometheustokyo

talked by Prometheus Tokyo Meetup #2 https://prometheus.connpass.com/event/127574/

Original: https://www.slideshare.net/whywaita/prometheus-monitoring-from-outside-of-kubernetes-kubernetesprometheus-prometheustokyo

This slide is re-upload by the author.

Transcript

1. Prometheus monitoring from outside of Kubernetes
 〜どうして我々はKubernetes上のPrometheusを破壊したのか〜 株式会社サイバーエージェント 技術本部 プライベートクラウドグループ
 Nakanishi Kento @whywaita Prometheus Tokyo Meetup #2 !1
2. Nakanishi Kento / whywaita • 株式会社サイバーエージェント 技術本部
 プライベートクラウドグループ 開発チーム • 2019年年新卒⼊入社 (⼊入社して2ヶ⽉月経ちました) • 仕事: OpenStack / Kubernetes ベースの
 プライベートクラウドのお守り, 新機能の開発 • 趣味: ⾃自宅サーバ / ⾃自宅インフラ, アニソン 最近趣味で我が家とAS59105がBGPで繋がりました !2
3. 1.最初のPrometheus 2.破滅、突然に 3.そして未来へ…… !3
4. 最初のPrometheus !4
5. Prometheus Tokyo Meetupですが
 皆さんPrometheus運⽤用してますか？ !5
6. Prometheus Tokyo Meetupですが
 皆さんどこで運⽤用してますか？ !6
7. 【緊急アンケート】Prometheusどこに置いてますか？ •Kubernetesの上にPodとして •EC2 / GCEなどVMの上にプロセスとして •タンスの上に良い感じに •その他 !7
8. (結果は⾒見見てないけど)
 やはり皆さんKubernetesの上ですね！ !8
9. 我々のチームもそんな感じ !9
10. 我々のチームもそんな感じでした… !10
11. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ !11
12. 必要なものと⾔言えば？ !12
13. Persistent Volumeですよね！ !13
14. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ !14
15. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 !15
16. Prometheusをk8sの上に置くと嬉しい •k8s_sd_config がバリバリ動く •TLS証明書周りは⾃自動的に良い感じに更更新 •クラスタエンドポイント設定不不要 •ClusterIPなどにそのままアクセス可 !16
17. 最⾼高じゃん！！！！😊😊😊 !17
18. 最⾼高の⽇日々を過ごしていた !18
19. 破滅、突然に !19
20. が………… !20
21. 免責事項 •ここからの話は開発環境で⾏行行われたものです •本番ではここからの話と同様のものは起きていません •説明簡易易化のため実際の挙動とは若⼲干違う説明をします !21
22. ある⽇日 !22
23. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 !23
24. 「メンテしますね〜」
 『は〜い！』 !24
25. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !25
26. ｶﾁｬｶﾁｬｶﾁｬ…… !26
27. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !27
28. 「…ん？」 !28
29. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !29
30. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !30
31. 「…あ！！！！」 !31
32. 🔥🔥障害発⽣生🔥🔥 !32
33. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !33
34. • 普段のetcd クラスタ台数は5台 • メンテナンスで -2台 • 障害で更更に -1台 あとは分かるな…？ !34
35. 🔥etcdクラスタ崩壊🔥 !35
36. 🔥Kubernetesクラスタ崩壊🔥 !36
37. 😱😱😱 !37
38. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !38
39. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !39
40. つまり !40
41. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !41
42. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !42
43. 🔥Cephも死亡🔥 !43
44. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !44
45. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !45
46. 🔥PVC提供も失敗🔥 !46
47. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !47
48. ざっくり図 (on Private Cloud) m01 物理理 k8s-worker(s) etcd m02 m03 m04 m05 etcd etcd etcd etcd コンテナ PVC ストレージ
 アプライアンス リクエスト pvc-prom 提供 メンテナンス !48
49. 🔥Prometheusも無事死亡🔥 !49
50. 🔥アラート発砲できず🔥 !50
51. 🔥🔥🔥🔥🔥🔥🔥🔥 !51
52. 復復旧は淡々と⾏行行われた… •etcdクラスタ復復旧 •ちゃんと設定を⼊入れるとスッと直って優秀！ •kube masterクラスタ復復旧 •Cephクラスタ復復旧 •3台⽬目を急遽差し込みブートストラップ •PVC提供再開 •Prometheus含め完全復復旧！ !52
53. 😥 !53
54. こうして我々はPrometheusを
 Kubernetesの外に置くことに…… !54
55. そして未来へ…… !55
56. 【再掲】Prometheusをk8sの上に置くと嬉しい •k8s_sd_config がバリバリ動く •TLS証明書周りは⾃自動的に良い感じに更更新 •クラスタエンドポイント設定不不要 •ClusterIPなどにそのままアクセス可 !56
57. では外に置くときは？ !57
58. Prometheusをk8sの外から監視するときは • k8s_sd_config がバリバリ動くかもしれない • TLS証明書周りは⾃自動的に良い感じに更更新されない • しっかり更更新する仕組みを⼊入れましょう • クラスタエンドポイント設定不不要必要 • しっかり設定しましょう • ClusterIPなどにそのままアクセス可不不可 • しっかりプロキシするルールを書きましょう !58
59. Kubernetes APIアクセス⽤用証明書の設定 •Prometheusを動作させているVMに配置 •/etc/prometheus/ca.pem などファイルシステム直置き •監視 / アラートルールをansibleで管理理しているため、
 証明書も同じタイミングで適⽤用する運⽤用 •定期的に流さないといけないのでもうちょっと
 良い⽅方法があればそちらにしたい…… !59
60. クラスタエンドポイントの設定 •kubernetes_sd_config の api_server で設定可能 •弊社の場合はansibleのjinja2で本番 / 開発を切替 •APIエンドポイント向けの証明書とPodアクセス向けの TLS証明書は切替可能なので適宜やってください!! !60
61. クラスタエンドポイントの設定 !61
62. Podへの監視プロキシの設定 •NodePortがあるものはKubernetesのプロキシ • /api/v1/nodes/${node名}/proxy/metrics •Serviceがあるものはrelabel_configを駆使して頑張る!! •blackbox_exporterは •__address__ をblackboxが動作している所に書き換え •__param_target を監視先に書き換え !62
63. 今はk8s上とVM上の並⾏行行運⽤用中
 (統合タスクが進⾏行行中) !63
64. まとめ • Kubernetesは意外と壊れる • 監視のためのプロセスが⼀一緒に壊れたら破滅する • ストレージってやっぱり⼤大変 • PrometheusはKubernetesの外からでもちゃんと監視
 できます！！！！ • もっと良いソリューションあれば懇親会で教えて
 ください!!! !64
65. ありがとうございました
 Thank you!!! !65