Datadog Logs にログを集約しようとしてる話

Datadog Logs にログを集約しようとしてる話川口奏 Japan Datadog User
Group Meetup#1

1  自己紹介  1 川口奏 (Kawaguchi So) 所属: 　株式会社アイリッジ　（自社サービス
FANSHIP 運用チームのエンジニア）使用クラウド: 　AWS（一部GCP） Datadog 歴: 　ちょうど２年くらい使ってる機能: • Dashboard • Monitor • APM • Logs • UX Monitoring 最近苦労した事: 　Datadog のプラン変更（主に事務作業）

2  主なログ保管場所  S3 (JSON file) CloudWatch Logs Datadog Logs コストが安い・高信頼性
AWS サービスと相性がいい UI がリッチ・設定が柔軟閲覧がシェル芸操作性が・・・連携方法が乏しかった

リッチなUI

4  リッチなUI 

5  リッチなUI  タイムレンジ • 右上のセレクトメニューで画面に表示するログの期間を絞れる。 • ⏪ ⏩ でタイムレンジを指定期間でスライドさせることができる。

6  リッチなUI  ファセット • 左端のチェックボックスから用意された分類ごとに絞り込み条件を絞ることができる。 • 設定した絞り込み条件は後述の検索に反映される • ファセットは手動で設定しているので適切に設定・用意されてい
ないログも存在する。

7  リッチなUI  検索 • 画面上部の入力欄からもフリーテキスト絞り込み条件が設定できる。 • 除外や AND/OR、ワイルドカードなど使用可能な書式は下記を参照 ◦ https://docs.datadoghq.com/ja/logs/search_syntax/

8  リッチなUI  ログ一覧 • 絞り込み条件に一致したログの一覧が表示される • 右上 Options からカラム並び替え・削除などの表示を切り替えられる。

9  リッチなUI  ログ詳細 • ログ一覧から各ログの詳細を表示することができる。 • 各項目を選択することで下記の機能が使用できる。 ◦ Search fo
~~~ ▪ 絞り込み条件に項目を追加できる。 ▪ 表示されない場合は後述のファセット追加が必要。 ◦ Exclude ~~~ ▪ 絞り込みの除外条件に項目を追加できる。 ◦ Add column for ~~~ ▪ ログ一覧のカラムに項目を追加できる。 ◦ Create facets for ~~~ ▪ ファセットに項目を追加できる。 ◦ Create measure for ~~~ ▪ 値が数値の場合、レンジや大小比較で絞り込みすることができるファセットを追加できる。

10  リッチなUI  非エンジニアにも優しい、直感的に操作可能なUI -> 実際にサポートチームに共有している資料をほぼそのままスライド転用

設定が柔軟

12  設定が柔軟  システム毎のログフォーマットの違いをパイプラインの強力なプロセッサーで吸収できる { "asctime": "2020-04-08 22:21:08,616" , "levelname":
"INFO", "message": "Request info" , "params": { "request_path" : "/aaa/bbb/ccc/" , "client_ip": "xxx.xxx.xxx.xxx" , } } { "msg": { "msg": "program finished." , "action_type" : "aaa" }, "level": "info", "time": "2020-08-24T22:28:47+09:00" , "timestamp": 1598275727000 } システムA システムB

13  設定が柔軟  Grok Parser

14  設定が柔軟  { "log": "{\"msg\": {...}, \"time\":\"2020-07-27T15:50:39+09:00 \", \"level\": \"info\"}",
"service": "fanship", "source": "stderr", "timestamp": 1595832639000 } ログフォーマットを吸収できた事例 (JSON in JSON) Datadog サポートの方に神速で教えていただきました

Datadog Logs への連携経路

16  Datadog Logs への連携経路  以前は・・ • datadog-agent が直接ログを tail して
Datadog に送信までさせる方法 ◦ 詳しく語らないが、弊社で過去にトラブルが発生した • ECS Fargate は CloudWatch Logs を経由させる方法しかほぼ無かった ◦ 二重課税

17  Datadog Logs への連携経路 (ECS アプリログ)  ECS Service Application Container
Datadog Output plugin Datadog Logs FireLens Log driver FireLens の登場と、いつの間にか fluent-bit に追加されてた Datadog Output plugin でシンプルなログの連携が可能になった

18  Datadog Logs への連携経路 (ELB アクセスログ)  Datadog Logs ELB S3
Datadog Forwarder CloudFormation Access Logs Put Invoke Deploy • Datadog Forwarder という公式ツールを使って、ELBのアクセスログを Datadog Logs に連携できる • CFn テンプレートも公開されているのでデプロイも楽 • Lambda 時点のフィルタリング設定も可能

19  Datadog Logs への連携経路 (ELB アクセスログ)  • パイプライン設定も公式 Library から設定するだけで
マッピングされる

20  まとめ  • 非エンジニアでも使いやすいUI  • 柔軟な設定でログの集約場所にしやすい  • ログの連携経路に目途が立った 

21  最後に  https://iridge-tech.hatenablog.com/ Datadog に関する記事も公開予定です！

Datadog Logs にログを集約しようとしてる話

Datadog Logs にログを集約しようとしてる話

orfx

More Decks by orfx

Other Decks in Technology

Featured

Transcript