Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Cookpad Lounge #4 SRE 座談会 SLI/SLO
Search
Okumura Takahiro
June 17, 2021
Technology
0
810
Cookpad Lounge #4 SRE 座談会 SLI/SLO
https://cookpad.connpass.com/event/215427/
でお話した、クックパッドにおける SLI/SLO に関する取り組みについての資料です。
Okumura Takahiro
June 17, 2021
Tweet
Share
More Decks by Okumura Takahiro
See All by Okumura Takahiro
あなたの知らない データベースのロギングの世界 / logging queries
hfm
10
3.3k
MHAの次 / Next to MHA
hfm
2
2.3k
Dynamic certificate internals with ngx_mruby #nagoyark03
hfm
5
840
動的証明書読み込み ngx_mruby編 #hoscon / GMO HosCon 2016
hfm
10
4.1k
漂流する中の節目 / Career Keynote 2016 at GMO Pepabo
hfm
1
10k
Learning Configuration Management Tool / Itamae Meetup 2015
hfm
1
1.5k
Vagrant勉強会 at ペパボ (2014/2/27)
hfm
0
820
Other Decks in Technology
See All in Technology
成長し続けるアプリのためのテストと設計の関係、そして意思決定の記録。
sansantech
PRO
0
130
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
4
280
20250705 Headlamp: 專注可擴展性的 Kubernetes 用戶界面
pichuang
0
290
OSSのSNSツール「Misskey」をさわってみよう(右下ワイプで私のOSCの20年を振り返ります) / 20250705-osc2025-do
akkiesoft
0
170
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
3
7.5k
赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
ivry_presentationmaterials
2
380
Claude Code に プロジェクト管理やらせたみた
unson
6
4.6k
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
akuwano
3
140
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
1
400
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
560
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
3
9.7k
AWS CDKの仕組み / how-aws-cdk-works
gotok365
8
290
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Music & Morning Musume
bryan
46
6.6k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Balancing Empowerment & Direction
lara
1
430
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Designing for Performance
lara
610
69k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Transcript
Cookpad Lounge #4 SLI/SLO
本日のテーマ: SLI/SLO を導入した話 クックパッドマート(以降、マート)というサービスで SLI/SLO を用 いた信頼性のトラッキングを始めています。 クックパッド(以降、レシピサービス)への導入は現在進行中で す。 マートで感じた課題は何か、どのように導入してどう運用してい
るのか、現状の所感などを話します。
その前に...2020年クックパッドの SLI/SLO 2つの課題: 1. SRE チームが信頼性指標を確立・追跡できていない 2. 開発・SRE 間で信頼性の共通認識(合意形成)が曖昧 まず
1 のために、各サービスに一律で SLI/SLO (ALB のリクエ スト成功率と p90 レスポンスタイム) を設定した。
SLI/SLO の追跡 hako-console という内製の Web アプリケーションコンソールが あり、そこから SLI/SLO の Grafana
ダッシュボードがリンクされ ている > Web アプリケーションを把握するためのコンソール > https://techlife.cookpad.com/entry/2018/04/02/140846
hako-console
SLI/SLO dashboard for each service
SLI/SLO services list
一方その頃マートでは(導入動機) 2020年、急成長するマート側からの要請もあり、@hfm は embedded SRE としてマート中心に活動していた。 急成長に伴い、障害やアラートが目立つようになり、サービスの 信頼性に関する共通認識の曖昧さに課題を感じた。 「マートはいま大丈夫なの?やばいの?」を測るモノサシとして SLI/SLO
が使えると思い、導入を進めた。
playback: 2020年のクックパッドの SLI/SLO 2つの課題: 1. SRE チームが信頼性指標を確立・追跡できていない 2. 開発・SRE 間で信頼性の共通認識(合意形成)が曖昧
結果的に 2 をマートで先行していくことになった。
SLI/SLO の提案、議論、策定 Google Docs に SLI/SLO の草案を作り、開発リーダーや事業 責任者にレビューしてもらい、合意を得た。 トラッキングすべき SLI/SLO
の策定や、エラーバジェットポリ シー、障害ポリシー、エスカレーションポリシーなど継続的な運 用をするためのポリシーも提案に含まれる。 • https://sre.google/workbook/slo-document/ • https://sre.google/workbook/error-budget-policy/
提案ドキュメント
マートの SLI/SLO ダッシュボード
マートにおける SLI/SLO の運用 定期的な SLI/SLO の確認は SRE チームでも行っている。 また、マートチームでも自分たちで定期的に確認しており、また 違反時における信頼性の回復活動も自分たちで行えている。
ここまでのまとめと所感 マートの急成長に伴い、信頼性の共通認識を構築する必要を 感じたことから、SLI/SLO を提案・導入し、信頼性のトラッキング を始めた。 数値 (SLI/SLO) に加え、運用に関する各種ポリシーに大きな価 値を感じている。「SLO 違反時に、誰がいつ何をすべきか」をあ
らかじめ取り決めることで、SRE チームからスケールアウトして 運用が続けられている。
展望:レシピサービスへの SLI/SLO 導入 現在、レシピサービスでも信頼性に対する課題が生じており、 SLI/SLO の導入を進めている。大きなサービスなので巻き込む べき人も多く、大変だがやりがいは大きい。 また、アラーティングが整備しきれておらず、もっといい感じに SLI/SLO をトラッキングできる環境を用意して、開発側に提供し
ていきたい。
We are hiring https://cookpad.jobs