クラウドネイティブ時代に 進化し続けるFluentd

CloudNative Days Winter 2025で発表した資料です。

Transcript

1. クラウドネイティブ時代に 進化し続けるFluentd CloudNative Days Winter 2025 2025/11/19 1
2. Fluent(d)プロジェクト Fluentd Fluent Bit 2
3. Fluentdはもう古い？ 3
4. Shizuo Fujita (藤田 静男) 株式会社クリアコード Fluentd メンテナー Daijiro Fukuda (福田 大司郎) 株式会社クリアコード Fluentd メンテナー 自己紹介 4
5. 株式会社クリアコード 5
6. Fluentdの歴史とクリアコードの関わり クリアコード開発参加 2015 年 6 月 CNCF Graduated Project 2019 年 4 月 クリアコード メンテナンス引き継ぎ 2021 年 3 月 Fluentd開発スタート 2011年 CNCF参加 2016 年 11 月 Fluent Package LTS版配布開始 2023 年 8 月 v1.0 2017 年 12 月 td-agent-builder (fluent-package-builder) 2020 年 3 月 fluent-plugins-nursery 2016 年 11 月 6
7. 今日お話すること • Fluentdとは • FluentdとCloud Native • Fluentdの進化 • 最新版紹介 • OpenTelemetry対応 7
8. • Fluentdとは • FluentdとCloud Native • Fluentdの進化 • 最新版紹介 • OpenTelemetry対応 8
9. Fluentdが実現する世界 9
10. Fluentdの配布形態 • Ruby gem • Package ◦ Fluent Package (fluent-package) ◦ Treasure Agent (td-agent) ◦ Calyptia Fluentd (calyptia-fluentd) • Container ◦ Docker images ◦ Daemonset for Kubernetes 10
11. Fluentdの特徴 • 柔軟性（カスタマイズ性） • スケールする • オープンソース 11
12. Fluentdの特徴: 柔軟性（カスタマイズ性） • 柔軟性の高いプラグインシステム ◦ 収集、フィルタリング、バッファリング、および送信といった主要な機 能がすべてプラグインによって提供される • 1000以上のプラグイン • Ruby言語で新規のプラグインを簡単に自作可能 • RubyGemsのしくみによってプラグインを配布・利用可能 12
13. Fluentdの特徴: スケールする ※ Fluent Bitと組み合わせ可能 13
14. Fluentdの特徴: オープンソース • 誰でも開発に参加できる • プラグインをコミュニティで管理するしくみ ◦ https://github.com/fluent-plugins-nursery 14
15. FluentdとFluent Bit • Fluentdの特徴 ◦ 豊富なプラグイン、カスタマイズ性の高さ • Fluent Bitの特徴 ◦ 軽量、高速 • 互いに転送可能 ◦ 例: エッジ処理をFluent Bit、集約・加工処理をFluentdで行う • OpenTelemetry対応 ◦ Fluentdが未対応の状態が続いていたが、ついに部分的に対応 15
16. • Fluentdとは • FluentdとCloud Native • Fluentdの進化 • 最新版紹介 • OpenTelemetry対応 16
17. FluentdとCloud Native • 2019年にCNCFのGraduatedレベルに認定 • 分散システムの可観測性を実現する • 近年、サブプロジェクトであるFluent Bitが、コンテナ環境に適したログ 転送エージェントとして普及 17
18. Node Pod Pod kubelet 分散システムにおけるFluentd 引用: Fluentd/Fluent Bit で実現する楽なKubernetesのログ運用　 CloudNative Days Tokyo 2021 Node Pod Pod kubelet Node Pod Pod kubelet + 18
19. FluentdとFluent Bitの併用例 引用: Fluentd/Fluent Bit で実現する楽なKubernetesのログ運用　 CloudNative Days Tokyo 2021 Node Pod Pod kubelet Node Pod Pod kubelet Node Pod Pod kubelet AWS S3 19
20. • Fluentdとは • FluentdとCloud Native • Fluentdの進化 • 最新版紹介 • OpenTelemetry対応 20
21. Fluentdの進化 • 継続的な不具合修正による動作の安定化 • 継続的に便利な新機能を追加 • リリースサイクルの改善（LTS版の提供） 21
22. Fluentdの進化: 過去の主な不具合修正 年月 Fluentd 修正した不具合 2018年3月 1.1.2 マルチスレッドで転送が失敗することがある 2019年8月 1.7.0 圧縮データを解凍するときにログ欠損が生じることがある 2022年7月 1.15.1 マルチワーカーでのファイル追記出力がデータ破損することがある 2023年11月 1.16.3 データ収集がエラーを出さすに停止してしまうことがある 2024年3月 1.16.4 大きいデータのバッファー書き込みに失敗してログ欠損が生じることがある 2025年7月 1.19.0 設定によっては日本語などの非 ASCII文字が収集時に破損することがある ※ 公式Wiki「影響度の高い不具合の一覧」 22
23. 不具合診断ツール • Fluentd v1.12.1 (td-agent v4.1.0) ~ v1.16.2 (fluent-package v5.0.1) にかけて、ログ収集（in_tailプラグイン）がエラーなく止まってしまうこと がある深刻な不具合があった • 診断ツールを開発・提供 ◦ https://github.com/clear-code/fluent-tail_checker ◦ 診断ツールガイド 23
24. Fluentdの進化: 過去の機能追加 年月 Fluentd 修正した不具合 2022年6月 1.15.0 YAML形式の設定ファイルをサポート 2023年3月 1.16.0 バッファーファイル破損時の対応強化 2024年4月 1.17.0 より柔軟な収集対象ファイルパスの指定を可能に 2024年11月 1.18.0 組み込みRubyコードをArrayやHash表記内でも利用可能に 1.18.0 ゼロダウンタイム・リスタート機能を追加 2025年7月 1.19.0 より高速なzstd圧縮形式に対応 ※ https://www.fluentd.org/blog/archive/ 24
25. Fluentdの進化: リリースサイクル改善 • 長期サポート（LTS）版の提供を開始 ◦ サポート期間を事前アナウンス（約2年間） ◦ セキュリティー・バグフィックスのみを提供 • 現在のLTS版 ◦ Fluentd v1.16.x == Fluent Package v5.0.x ▪ 2025年いっぱいまで ◦ Fluentd v1.19.x == Fluent Package v6.0.x ▪ 2027年いっぱいまで 25
26. • Fluentdとは • FluentdとCloud Native • Fluentdの進化 • 最新版紹介 • OpenTelemetry対応 26
27. 最新版: Fluentd v1.19 / Fluent Package v6 • ゼロダウンタイム・リスタート • 耐障害性の強化 • パフォーマンス改善 • OpenTelemetryの一部対応 27
28. これまでの Fluentd 更新作業 • これまで、アプリケーションのログ欠損なしで稼働中のFluentd設定ファ イル更新、Fluentdアップデートが煩雑 AWS S3 この Fluentd を更新したい！！ syslog syslog 28
29. これまでの Fluentd 更新作業 • これまで、アプリケーションのログ欠損なしで稼働中のFluentd設定ファ イル更新、Fluentdアップデートが煩雑 AWS S3 １．送信側を停止 syslog syslog 29
30. これまでの Fluentd 更新作業 • これまで、アプリケーションのログ欠損なしで稼働中のFluentd設定ファ イル更新、Fluentdアップデートが煩雑 AWS S3 ２．Fluentd を停止 syslog syslog 30
31. これまでの Fluentd 更新作業 • これまで、アプリケーションのログ欠損なしで稼働中のFluentd設定ファ イル更新、Fluentdアップデートが煩雑 AWS S3 ３．Fluentd を更新 syslog syslog 31
32. これまでの Fluentd 更新作業 • これまで、アプリケーションのログ欠損なしで稼働中のFluentd設定ファ イル更新、Fluentdアップデートが煩雑 AWS S3 ４．Fluentd を再開 syslog syslog 32
33. これまでの Fluentd 更新作業 • これまで、アプリケーションのログ欠損なしで稼働中のFluentd設定ファ イル更新、Fluentdアップデートが煩雑 AWS S3 5．送信側を再開 syslog syslog 33
34. ゼロダウンタイム・リスタート • UDP/TCP通信を止めずにFluentdをリスタート可能に ◦ 設定リロードによる受信取りこぼしを気にせずに済む！ • ゼロダウンタイムでの Fluentd アップデートもサポート AWS S3 syslog syslog １．ゼロダウンタイム機能で更新、以上。 34
35. 耐障害性の強化 • リカバリーの簡易化 ◦ バッファーファイル破損の検出機能の強化 • メトリクスの強化 ◦ input プラグインのメトリクスをデフォルトで取得 ◦ メトリクスを新規に追加 35
36. パフォーマンス改善(1) • Zstandard (zstd)圧縮形式をサポート • 低負荷で高効率な圧縮 9.4% （ランダムな 10 GBのデータを読み込み、それぞれの形式で圧縮し転送） 48.1％ 36
37. パフォーマンス改善(2) • ログファイルを読み込み、集約した結果をファイル出力する途中処理の JSONパフォーマンス改善 18.3% 18.3% （ランダムな 10 GBのデータを読み込み出力） 37
38. メモリ使用量の改善 • ログファイルを読み込み、集約した結果をファイル出力する際のメモリ 使用量を改善 9% (1 GBのログファイル読込・出力） 38
39. • Fluentdとは • FluentdとCloud Native • Fluentdの進化 • 最新版紹介 • OpenTelemetry対応 39
40. OpenTelemetry とは • CNCF主導プロジェクト • ログ・メトリクス・トレース統合の標準仕様 ◦ ベンダーに依存しないオブザーバビリティの共通言語 ◦ ログ：テキストや構造化イベント ◦ メトリクス：リクエスト数、レイテンシなど ◦ トレース：リクエストや処理の経路情報 40
41. Fluentd、OpenTelemetry ✅ アプリケーションのテレメトリーデータを転送可能 ◦ Fluentdでテレメトリーデータを受信 ◦ OpenTelemetry Collector へ OTLP 形式で転送 ✅ FluentdのメトリクスデータをOTLP 形式で送信可能 ⚠ OTLP 形式でないテキストのログデータの転送は今後対応予定 ◦ Fluent Forward 形式でログを Collector に転送可能 41
42. システム構築例 app ファイル AWS S3 既存のログ収集システムをベースに・・・ 42
43. システム構築例 app ファイル AWS S3 OTLP形式のデータ経路を、既存のシステムに追加 app OTLP OTLP or Fluent bit OpenTelemetry コレクター Prometheus Fluent Forward 43
44. 設定例：OTLPデータの受信 <source> @type opentelemetry tag opentelemetry <http> bind 0.0.0.0 port 4318 </http> </source> アプリケーションなど 44
45. 設定例：OTLPデータの送信 <match tag> @type opentelemetry <http> endpoint "http://collector:4318" </http> ... </match> OpenTelemetryコレクター receivers: otlp: protocols: http: endpoint: 0.0.0.0:4318 service: pipelines: traces: receivers: [otlp] metrics: receivers: [otlp] logs: receivers: [otlp] 45
46. 設定例：ログ送信 <match tag> @type forward <server> host collector port 24224 </server> ... </match> OpenTelemetryコレクター receivers: fluentforward: endpoint: 0.0.0.0:24224 service: pipelines: logs: receivers: [fluentforward] OTLP 形式でないテキストのログデータの転送は今後対応予定 Fluent Forward 形式でログを Collector に転送可能 46
47. まとめ • Fluentdは今も進化を続けています ◦ ゼロダウンタイムで運用を止めずに更新 ◦ 耐障害性の向上で安定稼働 ◦ パフォーマンス改善で高速化 ◦ OpenTelemetry対応 47
48. Discussionに日本語Q&Aあります！ https://github.com/fluent/fluentd/discussions/categories/q-a-japanese 日本語での問い合わせも、 お待ちしてます！！ Issue報告やPull Requestもお待ちしてます！ 48