Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
導入から5年が経って見えた Datadog APM 運用の課題
Search
Atsushi Tanaka
March 13, 2024
Programming
2
670
導入から5年が経って見えた Datadog APM 運用の課題
Japan Datadog User Group Meetup#3
https://datadog-jp.connpass.com/event/309899/
Atsushi Tanaka
March 13, 2024
Tweet
Share
More Decks by Atsushi Tanaka
See All by Atsushi Tanaka
Ruby製社内ツールのGo移行
bgpat
2
370
取っていてよかった Kubernetes のバックアップ
bgpat
0
380
Terraform と Kubernetes の共存による IaC の実践
bgpat
0
1.2k
Kubernetes Cluster Migration
bgpat
4
4.3k
k8sとNginxでオートスケール / Autoscaling with k8s and Nginx
bgpat
2
1.2k
GCPのgemにコントリビュートした話
bgpat
0
670
at_exit
bgpat
0
710
OpenCensus with Datadog APM
bgpat
0
1.9k
Distributed Tracing for Microservices
bgpat
5
3.2k
Other Decks in Programming
See All in Programming
Three ways to use AI on Android: The Good, the Bad and the Ugly
marxallski
0
110
Amazon SQSコンシューマー疎結合への旅 - 出張! #DevelopersIO IT技術ブログの中の人が語る勉強会 #3
quiver
0
370
TypeScript 関数型スタイルでバックエンド開発のリアル
naoya
48
15k
CQRS meets modern Java
simas
PRO
2
320
CREってこういうこと? 体験入社 - 提案資料 - / what-is-cre-trial-employment
shinden
1
600
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
12
4.3k
Implementing Design Systems in Swift
seyfoyun
2
520
ペパボOpenTelemetry革命
pyama86
2
200
Direct Style Effect Systems The Print[A] ExampleA Comprehension Aid
philipschwarz
PRO
0
380
ts-morphを使ってコードリプレイスとASTへのハードルを下げる!
nyawach
3
240
Node.js v22 で変わること
yosuke_furukawa
PRO
12
4.1k
Komplexe Oberflächen mit SVG und der Web Animation API
joergneumann
0
690
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
91
13k
The Invisible Customer
myddelton
114
12k
Docker and Python
trallard
35
2.7k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
7k
Navigating Team Friction
lara
179
13k
Producing Creativity
orderedlist
PRO
338
39k
Into the Great Unknown - MozCon
thekraken
15
1.1k
How GitHub (no longer) Works
holman
305
140k
GraphQLとの向き合い方2022年版
quramy
33
12k
Documentation Writing (for coders)
carmenintech
60
4k
The Straight Up "How To Draw Better" Workshop
denniskardys
228
130k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
Transcript
© 2024 Wantedly, Inc. 導⼊から5年が経って⾒えた Datadog APM 運⽤の課題 Japan Datadog
User Group Meetup#3 Mar. 13 2024 - Atsushi Tanaka @bgpat
© 2024 Wantedly, Inc. 過去の登壇資料 https://speakerdeck.com/bgpat/distributed-tracing-for-microservices
© 2024 Wantedly, Inc. 過去の登壇資料 https://speakerdeck.com/bgpat/opencensus-with-datadog-apm
© 2024 Wantedly, Inc. 今⽇伝えたいこと APM は導⼊後のメンテナンスが重要 • トレースが期待した状態になっているかの確認‧修正 ◦
気付いたら分断されていたり必要な値が⼊っていないことがある ◦ 負のループに陥らないように対応が必要 • 利⽤者への普及活動 ◦ とりあえず⼊れただけの状態で使ってくれる⼈は限られている ◦ 普段から慣れていないといざというときに使えない ◦ 勉強会や障害訓練等で利⽤を広げる活動も必要
© 2024 Wantedly, Inc. $ whoami @bgpat / Atsushi Tanaka
ウォンテッドリー株式会社 Infrastructure Engineer Kubernetes / Terraform SRE / Platform Engineering Datadog 歴 6〜7年くらい
© 2024 Wantedly, Inc. Wantedlyのマイクロサービス (5年前) • マイクロサービス70個以上 (社内サービスも含む)
© 2024 Wantedly, Inc. Wantedlyのマイクロサービス (5年前)
© 2024 Wantedly, Inc. そこで分散トレーシング (Datadog APM)
© 2024 Wantedly, Inc. を導⼊して5年が経過しました
© 2024 Wantedly, Inc. 導⼊時からの変化
© 2024 Wantedly, Inc. マイクロサービス化がさらに進んだ • マイクロサービス70個以上 (社内サービスも含む) →当時と同じ数え⽅で 150
サービス超 Service Catalog には 82 サービスが存在
© 2024 Wantedly, Inc. マイクロサービス化がさらに進んだ 分散トレーシングの価値は上がっている
© 2024 Wantedly, Inc. 5年が経過して⾒えた課題
© 2024 Wantedly, Inc. いつの間にか壊れるトレース 発⽣した問題 • トレースが分断されている • ⼊っていてほしい情報が抜け落ちている
◦ ユーザーID ◦ エラー情報 原因 • フレームワークの変更 • ライブラリのアップデート ◦ トレーシングライブラリを複数⼊れていると問題になりやすい
© 2024 Wantedly, Inc. いつの間にか壊れるトレース トレースが壊れる 使いづらい 利⽤者減 メンテされない
© 2024 Wantedly, Inc. 扱える⼈の2極化 普段からAPMを活⽤している⼈ vs 全く使わない⼈ 導⼊当時は勉強会を実施したがここ数年はしていない ↓
⼀番効果を発揮する障害対応で 何をすればいいか分からない⼈が増えた
© 2024 Wantedly, Inc. 扱える⼈の2極化 ←利⽤しているツールのアンケート結果 エンジニアの約3割は Datadog を使っていない
© 2024 Wantedly, Inc. 扱える⼈の2極化 障害訓練の振り返りから抜粋 • Datadog 操作なれてなくてやりたいことがぱっとできなかった ◦
env どこで指定するんだっけ • データドッグの使い⽅なんとなく理解した • 調査の⽅法が全然分からなかった ◦ どのツールを使えばいいか分からなかった ◦ Datadogの⾒⽅がパッと分からなかった • Datadog の⾒⽅に⼾惑ったのでチートシートなどがほしい • Datadog の trace がつながってなかった • Datadog の操作になれていない⼈が多かった印象が強い ◦ Datadog オペレーション講習会みたいなものをやると良さそう
© 2024 Wantedly, Inc. まとめ APM は導⼊後のメンテナンスが重要 • トレースが期待した状態になっているかの確認‧修正 ◦
気付いたら分断されていたり必要な値が⼊っていないことがある ◦ 負のループに陥らないように対応が必要 • 利⽤者への普及活動 ◦ とりあえず⼊れただけの状態で使ってくれる⼈は限られている ◦ 普段から慣れていないといざというときに使えない ◦ 勉強会や障害訓練等で利⽤を広げる活動も必要
© 2024 Wantedly, Inc. 詳しい話は懇親会 orカジュアル⾯談で https://www.wantedly.com/projects/522096