どうやって実現するか Fluent Bit https:// uentbit.io/ https://docs. uentbit.io/manual/installation/kubernetes Fluent Bit による集中コンテナロギング(AWS ブログ) https://aws.amazon.com/jp/blogs/news/centralized-container-logging- uent-bit/ Fluent Bit is a lightweight and extensible Log Processor that comes with full support for Kubernetes: “ “ 7
設定ファイル(INPUT ) Con gMap に記述します。 Fluentd と同様にPort 24224 での待受と、Kubernetes のログtail を併用 [INPUT] Name forward Listen 0.0.0.0 Port 24224 Buffer 512000 Tag mitene.* [INPUT] Name tail Tag kube.* Path /var/log/containers/*.log Parser docker DB /var/log/flb_kube.db Mem_Buf_Limit 5MB Skip_Long_Lines On Refresh_Interval 10 10
設定ファイル(PARSER ) Nginx ログとDocker ログのパース設定 [PARSER] Name nginx Format regex Regex ^(?[^ ]*) (?[^ ]*) (?[^ ]*) \[(?[^\]]*)\] ... Time_Key time Time_Keep On Time_Format %d/%b/%Y:%H:%M:%S %z [PARSER] Name docker Format json Time_Key time Time_Format %Y-%m-%dT%H:%M:%S.%L Time_Keep On 11
設定ファイル(OUTPUT ) Amazon Kinesis Data Firehose への転送設定。タグごとに転送先を変えられる。 [OUTPUT] Name firehose Match kube.* delivery_stream mitene-kube region ap-northeast-1 [OUTPUT] Name firehose Match mitene.log.* delivery_stream mitene-log region ap-northeast-1 これによって、タグごとにS3 バケット/ ディレクトリに格納できる 13