ログ基盤をCloudWatchLogからNewRelic Logs + S3に変えたら利便性も上がってコストも下がった話

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© DMM.com 自己紹介 2 小野博志 / Ono Hiroshi 合同会社DMM.com ITインフラ本部 SRE部エンジニアリング　マネージャー２００５年に新卒で中小独立系Sierに入社。Javaを使ったWeb系開発に従事。２００８年よりMSP（マネージド・サービス・プロバイダ）の業務に従事。アカウントSEから始まり、サービス企画やテクニカルディレクターを務める。エンタープライズの領域で大規模なコーポレートサイト、WebCMSを中心として担当していた。２０１８年よりB2Cもやってみようかなって思って２０２０年にDMM.comに入社。DMMブックスやNewRelicの導入推進を主に担当しています。たまに山登りしてます

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© DMM.com ECSログ基盤の変遷 CloudWatch Logs AWS化した直後 CloudWatch Logs Elasticsearch ちょっといい感じに CloudWatch Logs +Lambda NewRelic 各種メトリクスといい感じに並べてハッピーだけど・・現実的な理想系が出来たけど・・ CloudWatch Logs +Lambda Kinesis Data Streams NewRelic S3 Good!

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© DMM.com コストが掛かっていた理由 CloudWatch Logs アプリケーション newrelic-log-ingestion CloudWatch LogsへのPutEventに多くのコストが掛かっていたロググループ単位で集計するとアクセスログおよびアプリケーションログで多くのコストが掛かっていた。更にログの保管ではなく登録に多くのコストが掛かっていた。収集（データの取り込み） 0.76USD/GB 保存（アーカイブ） 0.033USD 料金

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© DMM.com 作り方はとっても簡単 { "Action": "firehose:PutRecordBatch", "Effect": "Allow", "Resource": "arn:aws:firehose:*:*:deliverystream/*", "Sid": "" }, ECSに権限付与 ECS taskにログルータの追加 "logConfiguration": { "logDriver": "awsfirelens", "options": { "Name": "firehose", "region": "ap-northeast-1", "delivery_stream": "" } }, 〜〜〜中略 ~~~~ { "name": "log-router", "image": "906394416424.dkr.ecr.ap-northeast-1.amazonaws.com/aws-for-fluent-bit:latest", "essential": true, "firelensConfiguration": { "type": "fluentbit" }, "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "${SERVICE_NAME}-log-router", "awslogs-region": "ap-northeast-1", "awslogs-stream-prefix": "firelens" } } } Kinesisの作成 NewRelicのプリセットが存在おまけログ送信量が多い場合はKinesisの Burﬀer hintsをチューニングが入ります Kinesis エンドポイント VPCEndpointの作成

Slide 11

Slide 11 text