Grafana_LokiをECS_Fargateで構築する観点公開版.pdf

Transcript

1. Grafana LokiをECS Fargateで構築した話 2025.11.19 氏名 : 蛭田　聡司 CloudNative Days 2025 5分LT #CNDW2025
2. 11月4回目のLT https://speakerdeck.com/cloudevcode
3. プロフィール Profile 01 Name Soushi Hiruta 02 Work 基盤設計構築 03 Community CommunityBuilder 2025 ( Container Category ) 04 興味 KubeConEU 2023～2026 05 Social X @web_se GitHub clouddev-code
4. 目次 CONTENT 01 Grafana Lokiについて Lokiの構成 02 Grafana Lokiモニタリング Lokiモニタリングの観点について触れます 03 ECS Fargate で特性 ECS Fargateは基本ステートレスで利用する。AWS 都合でタスク入替が発生します 04 ECS FargateのLokiを構築する上での考慮点 ステートレス環境でより可用性を最大限高めて作る観点 05 まとめ ECS Fargate での構成 実際の構成
5. Grafana Loki Lokiの構成 01
6. Lokiコンポーネント Lokiコンポーネントについて
7. 書き込みフロー Fluentbitなどのログエージェントから送信されてストレージまでに到達するフロー
8. 読み込みフロー Grafanaからログ検索されてログが検索されるフロー
9. Grafana Monitoring クエリ処理時間、接続エラー率などモニタリングは必要 02
10. metrics エンドポイントでレイテンシ等モニタリング ADOTでAmazon manged for Prometheousに収集 クエリパフォーマンス、Ingesterの状態を可視化できる モニタリング 分量の多いテキストを入力する際に便利なページです。 https://github.com/grafana/loki/blob/main/pkg/ingester/metrics.go#L44
11. loki_request_duraton_seconds_count 接続エラー率 loki_ingester_streams_created_total 5分間のingesterストリーム平均作成 率 loki_request_duration_seconds_sum 1リクエストの平均処理時間 loki_request_duration_seconds_bucket loki_s3_request_duration_seconds_bucket loki_distributor_bytes_received_total loki_ingester_memory_chunks Prometheus metrics モニタリングすべきメトリクス。クエリパフォーマンス、書き込みリソースを把握する必要がある https://grafana.com/docs/loki/latest/operations/meta-monitoring/
12. Grafana Lokiの構成 実際構築した構成 03
13. Grafana Loki構成 ECS Fargateで構築した構成 https://grafana.com/blog/2021/08/11/a-guide-to-deploying-grafana-loki-and-grafana-tempo-without-ku bernetes-on-aws-fargate/ laCで構築してい る
14. ECS Fargateの特性 テンポラリストレージ、AWS都合で落とされることはある 04
15. ECS Fargateの特性 ストレージは揮発性で、意図しない Task入替は発生する ストレージは揮発性 AWS都合でECS Task入替は発生する StatefulSetのようなステートフルなワークロードにはむかない
16. ECS FargateでLokiを運用した考慮点 ここにはタイトルを補足する内容を記入してください。 05
17. WAL Write Ahead Logを永続的なストレージに保存したい　 WALはドキュメント上にも、StatefulSet、永続ストレージで保持するとかかれ ている –ingester.flush-on-shutdown WALログ WAL Write Ahead Log
18. 複数タスクからWALログファイルが競合してしまった 競合してしまうと、ファイルも破損して、復旧もできなくる。 ドキュメント上でも破損してしまうといけないことは書かれている WALログをEFSでしようとしたが。。。 分量の多いテキストを入力する際に便利なページです。 https://grafana.com/docs/loki/latest/operations/storage/wal/
19. SIGKILL時でのノードのデータをS3にフラッシュ /ingester/shutdown?flush=true stop_timeout Fargateで最大に設定できる120s Task終了時にフラッシュする 突然死も0%ではない
20. 低頻度だが突然死もある。この場合SIGKILL(Signal Kill)の後処理は行えな い。 突然死は頻度も少ないこともありあきらめる クラッシュリカバリ 突然死も0%ではない
21. • Task終了時にflashさせるようにする • ringから入替発生したECS Taskを抜く • クラッシュリカバリはあるがECS FargateでもLoki基盤は運用できる LokiをFargateでも運用できる まとめ
22. 索引 • loki deployment modes ◦ https://grafana.com/docs/loki/latest/get-started/deployment-modes/ • Web Ahead Log ◦ https://grafana.com/docs/loki/latest/operations/storage/wal/ • 最短で理解して運用するGrafana Loki ◦ https://zenn.dev/taisho6339/articles/0654040691aaab