SLO導入と Datadog SLO Dashboard / SLO introduction and Datadog SLO Dashboard

Japan Datadog User Group Meetup#5
https://datadog-jp.connpass.com/event/324770/

Transcript

1. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLO導入と Datadog SLO Dashboard Japan Datadog User Group Meetup#5 LT 2024/08/07 Wed 1
2. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 本日話すこと Japan Datadog User Group Meetup#5 イベントページより 弊社では2020年頃からDatadogを利用し始めました。 2021年〜2022年にかけてリワード広告サービスでSLOを導入し、SLOs / Dashboard を活用しています。 どのようにSLOが導入され、SLO Dashboardを作って利用しているのかを簡単にお話 します。 2
3. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. アジェンダ - 自己紹介など - SLOの取り組み - Datadog SLOs / Dashborad - まとめ 3
4. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 自己紹介 名前： Matsutani Yuki まっちゃん X: @honyanyas（ほにゃにゃ） 所属： 株式会社ADWAYS DEEE アドテクノロジーディビジョン 技術改善第三ユニット（クラウドチーム） リードアプリケーションエンジニア 最近のお仕事： Ansible CI/CDパイプライン改善の設計・実装 Amazon Aurora MySQL DBアップグレード アドウェイズエンジニアブログ運営 趣味： YouTube（自主制作アニメ系などいろいろみる） お酒（ウイスキー・カクテル中心、ビール・日本酒も） 麻雀（見る雀、アプリ） アイコン Xアカウント 4
5. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 自己紹介 登壇予定： XP祭り2024：クラウドチームでのペア・モブプロの話 （他にもチャンスがあれば申込やプロポーザルを出したい） アドウェイズエンジニアブログで最近書いた記事： 「技術広報の集い #3」に参加して、飛び込みLTしてきました 技術改善チームの心強いエンジニアメンバーから学んだインボイス対応「攻めのアーキテ クチャ」 やらかし先生 俺みたいなプロジェクトリーダーになるな!! 〜俺のプロダクトマネジメントでの 失敗談を聞け〜 なぜ崩したシステム設計が事業貢献、仮説検証のしやすさに繋がるのか？最近の事例か ら考える 書いた記事 アイコン 5
6. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 会社紹介 会社名 ： 株式会社ADWAYS DEEE（アドウェイズディー） 設立年日： 2023年1月1日（株式会社アドウェイズ 100％子会社） 事業概要： アフィリエイト広告事業 WEBマーケティング事業 メディア開発・運営事業 広告システムを作っています 認知メインの広告（ディスプレイ広告）ではなく 体験メインの広告（アフィリエイト、リワード）を扱っています 6
7. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 組織紹介 ※一部 7
8. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 組織紹介 ※一部 技術戦略DivがSRE領域を担当 全社のSLO策定・推進をサポート 現在は ここに 所属 8
9. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLOの取り組み 9
10. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLO導入までの流れ - きっかけ SREという言葉が広がり始めた - SRE本 - SRE NEXT 2020 - 資料読み会 - SRE領域インフラエンジニア サービス領域アプリケーションエンジニア SLOを決めるとサービスにメリットがあるらしい 10
11. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 課題 SLO策定に至った経緯 - 品質改善が進まない - ユーザへの影響度合い が分かりづらいパフォーマンス問題などの対応が後回しにされがち - モニタリングが形骸化しつつあった - ユーザに影響があるか 即座に判断できず、静観や一部アラートを無視する ユーザにあたえる影響を正しく把握できていなかった 11
12. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 進め方1 Datadogでログやメトリクスを取得するための準備 - サービスドメインを整理 - 現状のシステムの把握、ユーザー行動や影響の理解 - モニタリング観点を整理 - ユーザ視点で考える、ユーザーが満足するためにはどうあるべきか - ワークメトリクスの取得 - モニタリング観点を元にどういう指標を取得するべきか 指標を取得するための開発を行い、Datadogで見れる状態 にした 12
13. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 進め方2 指標を元にSLOを決める - SLI/SLO策定 - 取得したメトリクスを元に設計 - SLOドキュメントの記載 - モニタリング・ダッシュボード - Datadog SLOs 設定 - Datadog SLO Dashboard 作成 SLOを導入するうえでDatadogは欠かせなかった 13
14. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 効果 エンジニアはもちろん、サービスに関わる関係者が SLOを気にすること で、より良い開 発に繋げる - エンジニア）無駄なアラートを撲滅 - 形骸化していたアラートがなくなり、事業影響が即座に判断できる - PdM）エラーバジェットを消費した課題に対してリソース投下を判断 - SLOを設定、可視化することで優先度の判断が可能 - 特別チームを結成し、短期間での信頼性回復の改善活動を実施 - セールス）ユーザ体験や影響に目を向ける - エンジニアだけでは解決できない問題について、セールスと協力して解決 - セールスを巻き込むことで、アラート発生時のシステムの異常を気にかけてくれる状態 SLOがあることでPdM、セールスとの共通言語 にもなる 14
15. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. プロダクトチームのSLO 新機能が事業のコアになり得る重要性 があるからこそ、SLOを設定するべき - 顧客への素早い価値提供ができるDevOpsを実現する - SLO違反が無ければ新規プロダクトの価値提供を全力で行う - SLO違反は信頼性回復のために全力で改善を行う サービス全体とは別軸で設定し、素早い仮説検証・フィードバックサイクルを繰り返すこ とができる土台とする 歴史の長いプロダクトは新しい価値の挑戦 を行っている 15
16. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 補足 リワード広告サービスのSLO導入について ブログ記事もありますのでそちらもご覧ください たった2ヶ月半でSLOを導入して事業判断に影響を与えた話 - Adwaysエンジニアブログ 16
17. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. Datadog SLOs / Dashborad 17
18. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 活用状況どれくらい？ - SLOs リワード広告サービス PC向けアフィリエイトサービス モニターベース 11 8 メトリクスベース 6 9 タイムスライス 3 4 合計 41 （20/21） 18
19. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 活用状況どれくらい？ - SLO Dashboards リワード広告サービス PC向けアフィリエイトサービス SLO Dashboards 9 2 合計 11 19
20. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ダッシュボードの一例 20
21. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ダッシュボードの一例 21
22. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 通知 エラーバジェットが消費されるとみんなすぐに反応する 22
23. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. まとめ SLO導入・運用しています - サービス全体 - サービスに関わる関係者が SLOを気にすること で、 より良い開発に繋げるための共通言語へ - プロダクトチーム - 新機能が事業のコアになり得る重要性 があるからこそ、 SLOを軸に判断を行い、新しい価値への挑戦を行う SLO運用において、Datadogは無くてはならないサービス です - SLOs: 41 - SLO Dashboard: 11 - Dashboardを見て判断、活用を行っている 23
24. ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ご静聴ありがとうございました！ 24