prob_code: k8s

ICTSC2020本戦前日に発生したトラブルについてのLT。Kubernetes上に載せているPrometheus podのPersistentVolumeがフルになってしまって発生したトラブルや障害の問題。

Transcript

1. prob_code: k8s @proelbtn
2. 自己紹介 • 名前：えると（@proelbtn） • 所属：電気通信大学 セキュリティ情報学プログラム 3年 • 今年の役割：インフラリーダー
8. 問題の様子を見に行こう！
10. 🤔
12. 🤔🤔🤔
14. 問題 : Prometheusが壊れちゃった。。。 概要 あなたはトラブルシューティングコンテストの運営です。本戦当日、目が覚めて問題展開 状況を確認するダッシュボードを見に行ったところ、メトリクスが取れていませんでした。 前提条件 現在保存されているメトリクスを消してはいけない。 初期条件 ダッシュボードを確認すると、2021/03/06 02:16以降のメトリクスが見れない。 終了条件 ダッシュボードからメトリクスを見れるようにする。
15. とりあえずログを見ろ
16. $ kubectl get logs -n monitoring … ... level=warn ts=2021-03-05T18:06:31.492Z caller=scrape.go:972 component="scrape manager" scrape_pool=blackbox-exporter target="http://blackbox-exporter.monitoring.svc.cluster.local:9115/pro be?module=icmp&target=10.5.15.194" msg="append failed" err="write to WAL: log samples: write /etc/prometheus-data/wal/00001007: disk quota exceeded" level=warn ts=2021-03-05T18:06:31.492Z caller=scrape.go:987 component="scrape manager" scrape_pool=blackbox-exporter target="http://blackbox-exporter.monitoring.svc.cluster.local:9115/pro be?module=icmp&target=10.5.15.194" msg="appending scrape report failed" err="write to WAL: log samples: write /etc/prometheus-data/wal/00001007: disk quota exceeded"
17. 😇
18. さてどう解決するか？ • 少なくなったら足すだけや！ ◦ PVCを編集してスケールアップしたい ◦ そもそもできるの？
19. $ kubectl get sc NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE csi-cephfs rook-ceph.cephfs.csi.ceph.com Retain Immediate true 11d
20. ALLOWVOLUMEEXPANSION=true
21. 😃
22. さてどう解決するか？ • 少なくなったら足すだけや！ ◦ PVCを編集してスケールアップしたい ◦ そもそもできるの？ ◦ おっしゃ！後はやるだけや！
23. $ nvim prometheus-pvc.yaml $ kubectl apply -f .
24. Ignoring the PVC: didn't find a plugin capable of expanding the volume; waiting for an external controller to process this PVC.
25. 🤔🤔🤔🤔🤔
26. さてどう解決するか？ • 少なくなったら足すだけや！ ◦ 足せなかった。。。
27. $ kubectl delete -f .
28. 😇😇😇
29. 問題 : Prometheusが壊れちゃった。。。 概要 あなたはトラブルシューティングコンテストの運営です。本戦当日、目が覚めて問題展開 状況を確認するダッシュボードを見に行ったところ、メトリクスが取れていませんでした。 そしてPVCを削除しました。 前提条件 現在保存されているメトリクスを消してはいけない。 初期条件 ダッシュボードを確認すると、2021/03/06 02:16以降のメトリクスが見れない。 終了条件 ダッシュボードからメトリクスを見れるようにする。
30. さてどう解決するか？ • 少なくなったら足すだけや！ ◦ 足せなかった。。。 • どうにかしてデータを復旧させなければならない
31. $ kubectl get sc NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE csi-cephfs rook-ceph.cephfs.csi.ceph.com Retain Immediate true 11d
32. RECLAIMPOLICY=Retain
33. さてどう解決するか？ • 少なくなったら足すだけや！ ◦ 足せなかった。。。 • 実は、PVは残っているのでは。。。？
34. $ kubectl get pv NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-dfb6cde7-e3d0-4e6a-b46d-4ac5dd3d97fb 20Gi RWX Retain Released monitoring/prometheus-pvc csi-cephfs 8d
35. PV自体は消えていなさそう！
36. でも、どうやって解決するか？
37. 正しく作られている時の状況 Persistent Volume Claim Storage Class Persistent Volume storageClassName claimRef volumeName
38. 今の状況 Persistent Volume Claim Storage Class Persistent Volume claimRef
39. $ kubectl edit pv pvc-dfb6cde7-e3d0-4e6a-b46d-4ac5dd3d97fb
40. $ cat pvc.yaml kind: PersistentVolumeClaim apiVersion: v1 metadata: namespace: monitoring name: prometheus-pvc-old spec: accessModes: - ReadWriteMany resources: requests: storage: 20Gi volumeName: "pvc-dfb6cde7-e3d0-4e6a-b46d-4ac5dd3d97fb" storageClassName: csi-cephfs
41. $ cat ds.yaml apiVersion: apps/v1 kind: Deployment ... containers: - name: data-access image: ubuntu:18.04 command: ["/bin/sh"] args: ["-c", "while true; do echo hello; sleep 10; done"] volumeMounts: - name: prometheus-data-old mountPath: /old - name: prometheus-data mountPath: /new volumes: - name: prometheus-data-old persistentVolumeClaim: claimName: prometheus-pvc-old - name: prometheus-data persistentVolumeClaim: claimName: prometheus-pvc
42. $ cp -r /old/* /new $ chown -R 65534:65534 /new
44. 🎉🎉🎉🎉🎉
45. 教訓 • ちゃんとストレージのサイジングをしないとだめ ◦ ログやメトリクスは無くなると困る ◦ 1日の収集量とretentionの設定から計算する ◦ 多少の余力を持ってサイジングする
46. 教訓 • ちゃんとストレージのサイジングをしないとだめ ◦ ログやメトリクスは無くなると困る ◦ 1日の収集量とretentionの設定から計算する ◦ 多少の余力を持ってサイジングする • 書かれているからといって使えるとは限らない ◦ 必要な要件をちゃんと確認する必要があった
47. 教訓 • ちゃんとストレージのサイジングをしないとだめ ◦ ログやメトリクスは無くなると困る ◦ 1日の収集量とretentionの設定から計算する ◦ 多少の余力を持ってサイジングする • 書かれているからといって使えるとは限らない ◦ 必要な要件をちゃんと確認する必要があった • 監視基盤が死んだ時の手段を用意しておく ◦ Prometheusが死んだアラートが上がらなかった
48. 教訓