Datadog Logs に ログを集約しようと してる話

Japan Datadog User Group Meetup#1
https://datadog-jp.connpass.com/event/185920/

1. Datadog Logs に ログを集約しようと してる話 川口 奏 Japan Datadog User Group Meetup#1
2. 1
 自己紹介
 1 川口 奏 (Kawaguchi So) 所属: 　株式会社アイリッジ 　（自社サービス FANSHIP 運用チームのエンジニア） 使用クラウド: 　AWS（一部GCP） Datadog 歴: 　ちょうど２年くらい 使ってる機能: • Dashboard • Monitor • APM • Logs • UX Monitoring 最近苦労した事: 　Datadog のプラン変更（主に事務作業）
3. 2
 主なログ保管場所
 S3 (JSON file) CloudWatch Logs Datadog Logs コストが安い・高信頼性 AWS サービスと相性がいい UI がリッチ・設定が柔軟 閲覧がシェル芸 操作性が・・・ 連携方法が乏しかった
4. リッチなUI
5. 4
 リッチなUI

6. 5
 リッチなUI
 タイムレンジ • 右上のセレクトメニューで画面に表示するログの期間を絞れる。 • ⏪ ⏩ でタイムレンジを指定期間でスライドさせることができる。
7. 6
 リッチなUI
 ファセット • 左端のチェックボックスから用意された分類ごとに絞り込み条件 を絞ることができる。 • 設定した絞り込み条件は後述の検索に反映される • ファセットは手動で設定しているので適切に設定・用意されてい ないログも存在する。
8. 7
 リッチなUI
 検索 • 画面上部の入力欄からもフリーテキスト絞り込み条件が設定できる。 • 除外や AND/OR、ワイルドカードなど使用可能な書式は下記を参照 ◦ https://docs.datadoghq.com/ja/logs/search_syntax/
9. 8
 リッチなUI
 ログ一覧 • 絞り込み条件に一致したログの一覧が表示される • 右上 Options からカラム並び替え・削除などの表示を切り替えられる。
10. 9
 リッチなUI
 ログ詳細 • ログ一覧から各ログの詳細を表示することができる。 • 各項目を選択することで下記の機能が使用できる。 ◦ Search fo ~~~ ▪ 絞り込み条件に項目を追加できる。 ▪ 表示されない場合は後述のファセット追加 が必要。 ◦ Exclude ~~~ ▪ 絞り込みの除外条件に項目を追加できる。 ◦ Add column for ~~~ ▪ ログ一覧のカラムに項目を追加できる。 ◦ Create facets for ~~~ ▪ ファセットに項目を追加できる。 ◦ Create measure for ~~~ ▪ 値が数値の場合、レンジや大小比較で絞り 込みすることができるファセットを追加でき る。
11. 10
 リッチなUI
 非エンジニアにも優しい、直感的に操作可能なUI -> 実際にサポートチームに共有している 資料をほぼそのままスライド転用
12. 設定が柔軟
13. 12
 設定が柔軟
 システム毎のログフォーマットの違いを パイプラインの強力なプロセッサーで吸収できる { "asctime": "2020-04-08 22:21:08,616" , "levelname": "INFO", "message": "Request info" , "params": { "request_path" : "/aaa/bbb/ccc/" , "client_ip": "xxx.xxx.xxx.xxx" , } } { "msg": { "msg": "program finished." , "action_type" : "aaa" }, "level": "info", "time": "2020-08-24T22:28:47+09:00" , "timestamp": 1598275727000 } システムA システムB
14. 13
 設定が柔軟
 Grok Parser
15. 14
 設定が柔軟
 { "log": "{\"msg\": {...}, \"time\":\"2020-07-27T15:50:39+09:00 \", \"level\": \"info\"}", "service": "fanship", "source": "stderr", "timestamp": 1595832639000 } ログフォーマットを吸収できた事例 (JSON in JSON) Datadog サポートの方に神速で教えていただきました
16. Datadog Logs への 連携経路
17. 16
 Datadog Logs への連携経路
 以前は・・ • datadog-agent が直接ログを tail して Datadog に送信までさせる方法 ◦ 詳しく語らないが、弊社で過去にトラブルが発生した • ECS Fargate は CloudWatch Logs を経由させる方法しかほぼ無かった ◦ 二重課税
18. 17
 Datadog Logs への連携経路 (ECS アプリログ)
 ECS Service Application Container Datadog Output plugin Datadog Logs FireLens Log driver FireLens の登場と、いつの 間にか fluent-bit に追加され てた Datadog Output plugin でシンプルなログの連携が 可能になった
19. 18
 Datadog Logs への連携経路 (ELB アクセスログ)
 Datadog Logs ELB S3 Datadog Forwarder CloudFormation Access Logs Put Invoke Deploy • Datadog Forwarder という公式ツールを使って、ELBのアク セスログを Datadog Logs に連携できる • CFn テンプレートも公開されているのでデプロイも楽 • Lambda 時点のフィルタリング設定も可能
20. 19
 Datadog Logs への連携経路 (ELB アクセスログ)
 • パイプライン設定も公式 Library から設定するだけで マッピングされる
21. 20
 まとめ
 • 非エンジニアでも使いやすいUI
 • 柔軟な設定でログの集約場所にしやすい
 • ログの連携経路に目途が立った

22. 21
 最後に
 https://iridge-tech.hatenablog.com/ Datadog に関する記事も公開予定です！