Datadog Logsで実現するオブザーバビリティの向上 / Enhancing Observability with Datadog Logs

1. Confidential Datadog Logsで実現する オブザーバビリティの向上 @yabaibuki.dev#5
2. Copyright Hacobu, Inc. 2 自己紹介
 栗山 聖 (@sheepland) 所属 株式会社Hacobu プラットフォームチーム 仕事 プラットフォームエンジニアリング&SRE 趣味 漫画、SF小説、映画
3. Copyright Hacobu, Inc. 3 Metrics
 Logs
 Traces
 • Hacobuが収集しているログの種類 • ログ収集方法 本日の内容
4. Copyright Hacobu, Inc. 4 ログ基盤には Datadog Logs を使用 各種ログをDatadogに集約 🐕
5. Copyright Hacobu, Inc. 5 収集しているログの紹介󰡇
6. Copyright Hacobu, Inc. 6 バックエンドアプリケーションログ ログがDatadog APMと紐付いている🤝 • APMのリクエストからそのリクエストが出力したログ を見れる • またログからAPMのリクエストも辿れる
7. Copyright Hacobu, Inc. 7 バックエンドアプリケーションログ ちなみに、弊社はマルチプロダクト展開してるので プロダクト間通信がある そのためTrace IDの伝播が必要 プラットフォームチーム作成の共通ライブラリにより プロダクト側で意識せずトレーシング可能
8. Copyright Hacobu, Inc. 8 フロントエンドログ ログがDatadog RUM(Real User Monitoring)と紐付い ている🤝 ログからユーザ操作履歴が確認できる
9. Copyright Hacobu, Inc. 9 スロークエリログ DB負荷やレスポンス遅延は大抵スロークエリが原因😥 スロークエリを Datadog Logs に送信
10. Copyright Hacobu, Inc. 10 スロークエリログ ⚔送信方法 Datadog Forwarder (AWS Lambda) を使用 CloudWatch Logs → Forwarder → Datadog Logs Datadog Serverless Functions https://github.com/DataDog/datadog-serverless-functions の/aws/logs_monitoring
11. Copyright Hacobu, Inc. 11 スロークエリログ スロークエリログは構造化ログではない Datadog Logs のPipelineのGrok Parserで以下のような正規表現を定義し、 構造化データに変換している💪 これにより、スロークエリログ内のtimestamp, queryTime, queryなどの情報 をAttributeとして登録される rds_slowquery ^\# Time: %{date("yyyy-MM-dd'T'HH:mm:ss.SSSSSSZ"):date}\n+\# User@Host: %{notSpace: user} @ \[%{ip: host}\] Id:[\x20\t]+%{number: id}\n+\# Query_time: %{number: queryTime} Lock_time: %{number: lockTime} Rows_sent: %{number: rowsSent} Rows_examined: %{number: rowsExamined}\n+ *SET timestamp=%{number: timestamp};\n+%{regex("[a-zA-Z].*"):query}. 

12. Copyright Hacobu, Inc. 12 Lambdaログ CloudWatch Logsでの検索は大変。LambdaログもDatadogに送信 ただし料金対策のために 「実行頻度が低いLambdaに絞る」「エラーログのみ送信」などをしている 先ほどのDatadog Forwarderを使って送信 → 最近は Datadog Lambda Extension を使うことが推奨
13. Copyright Hacobu, Inc. 13 ログ料金の下げるために、Datadog Logsの除外フィル ターで不要なログを保存しないように頑張っている
14. Copyright Hacobu, Inc. 14 まとめ • オブザーバビリティツールとログ基盤の統合をすると 調査がしやすい✨ • 特にスロークエリログを送るのはオススメ👈
15. Copyright Hacobu, Inc. 15 採用情報
 Hacobuではエンジニアを積極採用中です！ https://career.hacobu.jp/