Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログ基盤をCloudWatchLogからNewRelic Logs + S3に変えたら 利便性も上がってコストも下がった話

ログ基盤をCloudWatchLogからNewRelic Logs + S3に変えたら 利便性も上がってコストも下がった話

ono-hiroshi1

June 16, 2022
Tweet

More Decks by ono-hiroshi1

Other Decks in Technology

Transcript

  1. © DMM.com 自己紹介 2 小野 博志 / Ono Hiroshi 合同会社DMM.com

    ITインフラ本部 SRE部 エンジニアリング マネージャー 2005年に新卒で中小独立系Sierに入社。Javaを使ったWeb系開発に従事。 2008年よりMSP(マネージド・サービス・プロバイダ)の業務に従事。アカウントSEから始まり、サービス企画や テクニカルディレクターを務める。エンタープライズの領域で大規模なコーポレートサイト、WebCMSを中心とし て担当していた。 2018年よりB2Cもやってみようかなって思って2020年にDMM.comに入社。DMMブックスやNewRelicの導 入推進を主に担当しています。 たまに山登りしてます
  2. © DMM.com ECSログ基盤の変遷 CloudWatch Logs AWS化した直後 CloudWatch Logs Elasticsearch ちょっと

    いい感じに CloudWatch Logs +Lambda NewRelic 各種メトリクスといい感じに 並べて ハッピーだけど・・ 現実的な理想系が 出来たけど・・ CloudWatch Logs +Lambda Kinesis Data Streams NewRelic S3 Good!
  3. © DMM.com 作り方はとっても簡単 { "Action": "firehose:PutRecordBatch", "Effect": "Allow", "Resource": "arn:aws:firehose:*:*:deliverystream/*",

    "Sid": "" }, ECSに権限付与 ECS taskにログルータの追加 "logConfiguration": { "logDriver": "awsfirelens", "options": { "Name": "firehose", "region": "ap-northeast-1", "delivery_stream": "<kinesisの名前 >" } }, 〜〜〜 中略 ~~~~ { "name": "log-router", "image": "906394416424.dkr.ecr.ap-northeast-1.amazonaws.com/aws-for-fluent-bit:latest", "essential": true, "firelensConfiguration": { "type": "fluentbit" }, "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "${SERVICE_NAME}-log-router", "awslogs-region": "ap-northeast-1", "awslogs-stream-prefix": "firelens" } } } Kinesisの作成 NewRelicのプリセットが存在 おまけ ログ送信量が多い場合はKinesisの Burffer hintsをチューニングが入ります Kinesis エンドポイント VPCEndpointの作成