Fluentbit_mulitline_filterについて.pdf

Transcript

1. 2024.06.13 JAWS-UG 東京 #12 s.hiruta (@web_se) java, pythonのStackTraceにまたがる場合に有益な Multiline filter pluginについて
2. Self introduction 【名前】 s.hiruta ( @web_se ) 【仕事】 コンテナ、マイクロサービス基盤構築 【興味分野】 Containers、WASM+LLM、 Github clouddev-code zenn clouddevcode 2
3. Previous LT Slide https://speakerdeck.com/cloudevcode 3
4. セッションの目的 multiline filterの概要、導入注意点 • 導入の背景 • 導入で期待されること • 具体的な使用例 • 4
5. アジェンダ • Containerログどう収集していますか • ログ収集パターン • メジャーなFluentbitについて深掘り • StackTraceなど複数行にまたがるときの問題点 • Mulitiline filter • filter設定時の注意点 • Rewrite tag併用時の注意点 • まとめ 5
6. コンテナログ収集どうしていますか • 6
7. ECS https://aws.amazon.com/jp/blogs/news/under-the-hood-firelens-for-amazon-ecs-tasks/
8. 8 EKS https://aws.amazon.com/jp/blogs/news/fluent-bit-for-amazon-eks-on-aws-fargate-is-here-jp/
9. ログ収集パターン • AWSlogs driver • Fluentbit • OpenTlemetry logging 9
10. AWSlog drvierによるログ収集 • 手軽だけど、Cloudwatch logsからS3にエクスポー トするときは、Amazon Firehoseあるいは、 EventBridgeを利用する必要がある • Cloudwatch logsのPutLogEventsは高価 10
11. Fluentbit 11 • super fast, lightweight and high scalable logging and metrics processor and forwarder https://www.fluentbit.io/
12. OpenTelmetry logging • OtelでContext Propagationの考え方でメトリクスとトレースと の相関があり、個々の価値向上を図れそう 12 https://opentelemetry.io/docs/specs/otel/logs/
13. Fluentbitについて深掘り 13
14. Fluentbitの仕組み 14
15. Fluentbitの仕組み • 15
16. Java、PythonなどStackTrace messageのときの問題点 16
17. 　Multiline filter • 複数のレコードやログ行に分割されたメッセージを 連結するのに役に立ちます。例としてスタックト レースやログを複数行に分けて出力するアプリ ケーション 17
18. 　Multiline filter 18
19. 　Multiline filter 19
20. 　Multiline filter 20
21. 　Rewrite tag 21 • ログレベルの文字列で出力させたい、別の出力先 に出したいときに利用する • Multiline filterと併用する場合、Rewrite Tagで変更 した後のタグが、Multiline の条件に一致しないよ うにする必要がある
22. 　Rewrite tag 22
23. Athena • ログ連結することでAthenaのログフィールドにマー ジさせてクエリすることができる 23
24. 　まとめ • 複数行のログメッセージをマージするときに便利 • Rewrite Tagとの併用に気をつける 24
25. 　索引 • Multiline – https://docs.fluentbit.io/manual/pipeline/filters/multiline-stacktrace • Fluent Bit の Multiline Praserを使用して複数行ログを収集する – https://zenn.dev/nh8939/articles/add269d15152ba • Fluent Bit v3.0 Documentation – https://docs.fluentbit.io/manual 25
26. 26 https://github.com/aws-samples/whats-new-summary-notifier AWS What’s new の 情報をクロールし、 Claude 3にまとめを chatに投稿ツール ツールを改造して、 GoogleChatのスペー スに飛ばすこともで きる おまけ