Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Datadog Logs に ログを集約しようと してる話

orfx
August 25, 2020

Datadog Logs に ログを集約しようと してる話

Japan Datadog User Group Meetup#1
https://datadog-jp.connpass.com/event/185920/

orfx

August 25, 2020
Tweet

More Decks by orfx

Other Decks in Technology

Transcript

  1. 1
 自己紹介
 1 川口 奏 (Kawaguchi So) 所属:  株式会社アイリッジ  (自社サービス

    FANSHIP 運用チームのエンジニア) 使用クラウド:  AWS(一部GCP) Datadog 歴:  ちょうど2年くらい 使ってる機能: • Dashboard • Monitor • APM • Logs • UX Monitoring 最近苦労した事:  Datadog のプラン変更(主に事務作業)
  2. 2
 主なログ保管場所
 S3 (JSON file) CloudWatch Logs Datadog Logs コストが安い・高信頼性

    AWS サービスと相性がいい UI がリッチ・設定が柔軟 閲覧がシェル芸 操作性が・・・ 連携方法が乏しかった
  3. 9
 リッチなUI
 ログ詳細 • ログ一覧から各ログの詳細を表示することができる。 • 各項目を選択することで下記の機能が使用できる。 ◦ Search fo

    ~~~ ▪ 絞り込み条件に項目を追加できる。 ▪ 表示されない場合は後述のファセット追加 が必要。 ◦ Exclude ~~~ ▪ 絞り込みの除外条件に項目を追加できる。 ◦ Add column for ~~~ ▪ ログ一覧のカラムに項目を追加できる。 ◦ Create facets for ~~~ ▪ ファセットに項目を追加できる。 ◦ Create measure for ~~~ ▪ 値が数値の場合、レンジや大小比較で絞り 込みすることができるファセットを追加でき る。
  4. 12
 設定が柔軟
 システム毎のログフォーマットの違いを パイプラインの強力なプロセッサーで吸収できる { "asctime": "2020-04-08 22:21:08,616" , "levelname":

    "INFO", "message": "Request info" , "params": { "request_path" : "/aaa/bbb/ccc/" , "client_ip": "xxx.xxx.xxx.xxx" , } } { "msg": { "msg": "program finished." , "action_type" : "aaa" }, "level": "info", "time": "2020-08-24T22:28:47+09:00" , "timestamp": 1598275727000 } システムA システムB
  5. 14
 設定が柔軟
 { "log": "{\"msg\": {...}, \"time\":\"2020-07-27T15:50:39+09:00 \", \"level\": \"info\"}",

    "service": "fanship", "source": "stderr", "timestamp": 1595832639000 } ログフォーマットを吸収できた事例 (JSON in JSON) Datadog サポートの方に神速で教えていただきました
  6. 16
 Datadog Logs への連携経路
 以前は・・ • datadog-agent が直接ログを tail して

    Datadog に送信までさせる方法 ◦ 詳しく語らないが、弊社で過去にトラブルが発生した • ECS Fargate は CloudWatch Logs を経由させる方法しかほぼ無かった ◦ 二重課税
  7. 17
 Datadog Logs への連携経路 (ECS アプリログ)
 ECS Service Application Container

    Datadog Output plugin Datadog Logs FireLens Log driver FireLens の登場と、いつの 間にか fluent-bit に追加され てた Datadog Output plugin でシンプルなログの連携が 可能になった
  8. 18
 Datadog Logs への連携経路 (ELB アクセスログ)
 Datadog Logs ELB S3

    Datadog Forwarder CloudFormation Access Logs Put Invoke Deploy • Datadog Forwarder という公式ツールを使って、ELBのアク セスログを Datadog Logs に連携できる • CFn テンプレートも公開されているのでデプロイも楽 • Lambda 時点のフィルタリング設定も可能