ログから始めるオブザーバビリティ

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

3 Copyright © 2024 Bitkey Inc. All right reserved. 株式会社ビットキー SREとして入社。主にオブザーバビリティ、CI/CDを担当する。SETとしてサービス品質向上の活動もしている自己紹介星野貴信 Hoshino Takanobu 2020.01 2022.11~ 株式会社LCL バックエンドエンジニアとしてサービス運用改善を中心にAWS、Terraform、GitHub Actions、Mackerelの活用をリード

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

7 Copyright © 2024 Bitkey Inc. All right reserved. 1. オブザーバビリティのおさらいオブザーバビリティとは？「ソフトウェアアプリケーションにオブザーバビリティを持たせるためには、次のことができなければなりません。アプリケーションの内部構造を理解する今まで見たことのない、予測できないことが起こったとしても、アプリケーションがどのようなシステム状態に陥っているかを理解する外部ツールを使って観測し、調査することで、内部動作とシステム状態を理解する新たにコードを改修することなく、内部状態を理解する（コードを改修するには何が起こるかをあらかじめ知っている必要があるため）」『オブザービリティ・エンジニアリング』 1.2 オブザーバビリティのソフトウェアシステムへの適用

Slide 8

Slide 8 text

8 Copyright © 2024 Bitkey Inc. All right reserved. 1. オブザーバビリティのおさらいオブザーバビリティとは？「今まで見たことのない、予測できないことが起こったとしても、アプリケーションがどのようなシステム状態に陥っているかを理解する」「外部ツールを使って観測し、調査することで、内部動作とシステム状態を理解する」こちらの2点についてDatadogのメトリクス、ログ、トレースにオブザーバビリティの特性が備わっているかそれぞれ見ていきます特に、探索的にアプリケーションを調査できるかの観点をチェックします

Slide 9

Slide 9 text

Slide 10

Slide 10 text

10 Copyright © 2024 Bitkey Inc. All right reserved. 2. Datadogのメトリクス ● Metric Explorerから探索的にクエリが可能 ● パブリッククラウドとのインテグレーションや dd-agentの機能でメトリクスの取得は非常に容易 ● DogStatsDなどを活用してカスタムメトリクスを送信すればアプリケーションの内部情報も取得できる ● メトリクス選択にワイルドカードが利用できないため大量のメトリクスを一気に調べることは難しい所感: メトリクス単体ではオブザーバビリティの獲得は難しいオブザーバビリティの観点からみたメトリクス

Slide 11

Slide 11 text

Slide 12

Slide 12 text

12 Copyright © 2024 Bitkey Inc. All right reserved. 3. Datadogのログオブザーバビリティの観点からみたログ ● Logs Explorerから探索的にクエリすることが可能 ● ログを時系列で並べるだけでなくフィールド毎やメッセージパターン毎のように集計クエリで強力に可視化をサポートできる ● 左カラムのFacetsを展開してメタデータ毎に出現回数を俯瞰したり、絞り込みに利用可能 ● Reference TableとJoinすることでさらに外部データを結合して情報量を増やせる ● 構造化ログや例外キャッチなど事前の準備が多め ● 欲しいログ出力のためにアプリケーション改修が必要になることもある　所感: 構造化ログを意識してログを送信することで、Datadogの機能を活かしたクエリが可能

Slide 13

Slide 13 text

Slide 14

Slide 14 text

14 Copyright © 2024 Bitkey Inc. All right reserved. 4.. Datadogのトレース ● Trace Queryによるしたサービス全体の俯瞰と Span単位の詳細分析が利用できる ● 複数Traceを紐づけることでサービス間の関係を可視化してボトルネックを分析できる ● dd-traceやOpenTelemetry Collectorを利用して少ない実装コストでデータの収集が可能 ● 集計機能はログと比較してやや弱めか ● Flame Graphの表示はSpan数の増大とDurationが長い場合にスクロールが煩雑になる印象所感: トレースはマイクロサービスのように、複数サービスをまたがるアプリケーションの俯瞰に強い一方、探索的にクエリする際に、UIがログと比較してやや弱い印象オブザーバビリティの観点からみたトレース

Slide 15

Slide 15 text

Slide 16

Slide 16 text

16 Copyright © 2024 Bitkey Inc. All right reserved. 5. まとめ探索的な調査の能力でみたDatadogのオブザーバビリティ ● オブザーバビリティの獲得に重要な、探索的なクエリによるアプリケーションの調査において、 Datadogではメトリクスとログとトレースを比較した際に、ログが使いやすい感触を得た ● まずはログの収集に力を入れてから、トレースに進むとログとトレースの紐付けで隙がなくなる未解決の課題: サンプリングによるログに紐づいていて欲しいトレースが無い問題 ● ログデータ増加に耐えるコスト面の工夫は、またの機会があれば紹介したい

Slide 17

Slide 17 text