Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SLO導入と Datadog SLO Dashboard / SLO introduction...
Search
yuki
August 07, 2024
Programming
0
270
SLO導入と Datadog SLO Dashboard / SLO introduction and Datadog SLO Dashboard
Japan Datadog User Group Meetup#5
https://datadog-jp.connpass.com/event/324770/
yuki
August 07, 2024
Tweet
Share
More Decks by yuki
See All by yuki
Ansibleもくもく会 2024.8 成果報告 / Ansible Mokumoku 2024.08 Report
honyanya
0
22
CodeZine Night #2「若手エンジニアが語る技術への挑戦とキャリア戦略」
honyanya
0
120
Other Decks in Programming
See All in Programming
Amazon BedrockでサーバレスなAIお料理ボットを作成する!!
tosuri13
0
120
暴走のウホーレン 〜想いってのはvimrcにしないと伝わらないんだぜ〜 / iosdc_japan_2024
uhooi
1
250
GoのIteratorに詳しくなってしまう
inatonix
1
190
REXML改善のその後
naitoh
0
160
Prompt Cachingは本当に効果的なのか検証してみた.pdf
ttnyt8701
0
510
Web技術を駆使してユーザーの画面を「録画」する
yukukotani
13
6.5k
Hono・Prisma・AWSでGeoなAPI開発
nokonoko1203
5
650
[DroidKaigi 2024] Android ViewからJetpack Composeへ 〜Jetpack Compose移行のすゝめ〜 / From Android View to Jetpack Compose: A Guide to Migration
syarihu
1
220
労務ドメインを快適に開発する方法 / How to Comfortably Develop in the Labor Domain
yuki21
1
250
Rustではじめる負荷試験
skanehira
5
1.2k
The Future of Frontend i18n : Intl.MessageFormat
sajikix
1
2.5k
Android開発以外のAndroid開発経験の活かしどころ
konifar
0
150
Featured
See All Featured
A better future with KSS
kneath
235
17k
Documentation Writing (for coders)
carmenintech
65
4.3k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
38
9.1k
Designing the Hi-DPI Web
ddemaree
278
34k
How STYLIGHT went responsive
nonsquared
93
5.1k
Fontdeck: Realign not Redesign
paulrobertlloyd
80
5.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
103
48k
Web development in the modern age
philhawksworth
204
10k
How to Ace a Technical Interview
jacobian
275
23k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.8k
Producing Creativity
orderedlist
PRO
340
39k
Build your cross-platform service in a week with App Engine
jlugia
228
18k
Transcript
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLO導入と Datadog SLO Dashboard Japan
Datadog User Group Meetup#5 LT 2024/08/07 Wed 1
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 本日話すこと Japan Datadog User Group
Meetup#5 イベントページより 弊社では2020年頃からDatadogを利用し始めました。 2021年〜2022年にかけてリワード広告サービスでSLOを導入し、SLOs / Dashboard を活用しています。 どのようにSLOが導入され、SLO Dashboardを作って利用しているのかを簡単にお話 します。 2
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. アジェンダ - 自己紹介など - SLOの取り組み
- Datadog SLOs / Dashborad - まとめ 3
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 自己紹介 名前: Matsutani Yuki まっちゃん
X: @honyanyas(ほにゃにゃ) 所属: 株式会社ADWAYS DEEE アドテクノロジーディビジョン 技術改善第三ユニット(クラウドチーム) リードアプリケーションエンジニア 最近のお仕事: Ansible CI/CDパイプライン改善の設計・実装 Amazon Aurora MySQL DBアップグレード アドウェイズエンジニアブログ運営 趣味: YouTube(自主制作アニメ系などいろいろみる) お酒(ウイスキー・カクテル中心、ビール・日本酒も) 麻雀(見る雀、アプリ) アイコン Xアカウント 4
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 自己紹介 登壇予定: XP祭り2024:クラウドチームでのペア・モブプロの話 (他にもチャンスがあれば申込やプロポーザルを出したい) アドウェイズエンジニアブログで最近書いた記事:
「技術広報の集い #3」に参加して、飛び込みLTしてきました 技術改善チームの心強いエンジニアメンバーから学んだインボイス対応「攻めのアーキテ クチャ」 やらかし先生 俺みたいなプロジェクトリーダーになるな!! 〜俺のプロダクトマネジメントでの 失敗談を聞け〜 なぜ崩したシステム設計が事業貢献、仮説検証のしやすさに繋がるのか?最近の事例か ら考える 書いた記事 アイコン 5
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 会社紹介 会社名 : 株式会社ADWAYS DEEE(アドウェイズディー)
設立年日: 2023年1月1日(株式会社アドウェイズ 100%子会社) 事業概要: アフィリエイト広告事業 WEBマーケティング事業 メディア開発・運営事業 広告システムを作っています 認知メインの広告(ディスプレイ広告)ではなく 体験メインの広告(アフィリエイト、リワード)を扱っています 6
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 組織紹介 ※一部 7
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 組織紹介 ※一部 技術戦略DivがSRE領域を担当 全社のSLO策定・推進をサポート 現在は
ここに 所属 8
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLOの取り組み 9
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLO導入までの流れ - きっかけ SREという言葉が広がり始めた -
SRE本 - SRE NEXT 2020 - 資料読み会 - SRE領域インフラエンジニア サービス領域アプリケーションエンジニア SLOを決めるとサービスにメリットがあるらしい 10
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 課題 SLO策定に至った経緯 -
品質改善が進まない - ユーザへの影響度合い が分かりづらいパフォーマンス問題などの対応が後回しにされがち - モニタリングが形骸化しつつあった - ユーザに影響があるか 即座に判断できず、静観や一部アラートを無視する ユーザにあたえる影響を正しく把握できていなかった 11
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 進め方1 Datadogでログやメトリクスを取得するための準備 -
サービスドメインを整理 - 現状のシステムの把握、ユーザー行動や影響の理解 - モニタリング観点を整理 - ユーザ視点で考える、ユーザーが満足するためにはどうあるべきか - ワークメトリクスの取得 - モニタリング観点を元にどういう指標を取得するべきか 指標を取得するための開発を行い、Datadogで見れる状態 にした 12
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 進め方2 指標を元にSLOを決める -
SLI/SLO策定 - 取得したメトリクスを元に設計 - SLOドキュメントの記載 - モニタリング・ダッシュボード - Datadog SLOs 設定 - Datadog SLO Dashboard 作成 SLOを導入するうえでDatadogは欠かせなかった 13
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 効果 エンジニアはもちろん、サービスに関わる関係者が SLOを気にすること
で、より良い開 発に繋げる - エンジニア)無駄なアラートを撲滅 - 形骸化していたアラートがなくなり、事業影響が即座に判断できる - PdM)エラーバジェットを消費した課題に対してリソース投下を判断 - SLOを設定、可視化することで優先度の判断が可能 - 特別チームを結成し、短期間での信頼性回復の改善活動を実施 - セールス)ユーザ体験や影響に目を向ける - エンジニアだけでは解決できない問題について、セールスと協力して解決 - セールスを巻き込むことで、アラート発生時のシステムの異常を気にかけてくれる状態 SLOがあることでPdM、セールスとの共通言語 にもなる 14
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. プロダクトチームのSLO 新機能が事業のコアになり得る重要性 があるからこそ、SLOを設定するべき - 顧客への素早い価値提供ができるDevOpsを実現する
- SLO違反が無ければ新規プロダクトの価値提供を全力で行う - SLO違反は信頼性回復のために全力で改善を行う サービス全体とは別軸で設定し、素早い仮説検証・フィードバックサイクルを繰り返すこ とができる土台とする 歴史の長いプロダクトは新しい価値の挑戦 を行っている 15
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 補足 リワード広告サービスのSLO導入について ブログ記事もありますのでそちらもご覧ください
たった2ヶ月半でSLOを導入して事業判断に影響を与えた話 - Adwaysエンジニアブログ 16
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. Datadog SLOs / Dashborad 17
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 活用状況どれくらい? - SLOs リワード広告サービス PC向けアフィリエイトサービス
モニターベース 11 8 メトリクスベース 6 9 タイムスライス 3 4 合計 41 (20/21) 18
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 活用状況どれくらい? - SLO Dashboards リワード広告サービス
PC向けアフィリエイトサービス SLO Dashboards 9 2 合計 11 19
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ダッシュボードの一例 20
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ダッシュボードの一例 21
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 通知 エラーバジェットが消費されるとみんなすぐに反応する 22
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. まとめ SLO導入・運用しています - サービス全体 -
サービスに関わる関係者が SLOを気にすること で、 より良い開発に繋げるための共通言語へ - プロダクトチーム - 新機能が事業のコアになり得る重要性 があるからこそ、 SLOを軸に判断を行い、新しい価値への挑戦を行う SLO運用において、Datadogは無くてはならないサービス です - SLOs: 41 - SLO Dashboard: 11 - Dashboardを見て判断、活用を行っている 23
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ご静聴ありがとうございました! 24