Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
SLOの導入で失敗したこと.pdf
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
ryotaro kobayashi
April 17, 2022
Technology
150
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
SLOの導入で失敗したこと.pdf
ryotaro kobayashi
April 17, 2022
Transcript
17 slides
SLOの導入で 失敗したこと 2021/12/20 ryotaro(twitter:@ryota_hnk)
Agenda 01 02 03 04 組織構成とSREチーム SLOの導入方法 振り返り 自己紹介
1. 自己紹介
• 求人検索サービスのSRE • おっさんだけど業界歴は浅い フリーター → COBOLer → Oracle DBA
→ インフラエンジニ ア → SRE • 好きな技術:TCP/IP • 苦手な技術:正規表現 ryotaro @ryota_hnk
これからお話しすることは所属組織を代 表する意見ではなく、あくまでも個人とし ての振り返りです。 組織にSLOを導入する際の参考としてご 活用いただけると幸いです。
2. 組織構成とSRE
• 各サービスごとにチームが分かれてる • 各チームが独立して運用している(イン フラ含めて) • SREは各チームに共通的な基盤や仕組 みを提供する • SREは各サービスに間接的に関わって
いる • SREチーム≠運用チーム SREの立ち位置 UI/UX チーム SRE チーム 広告 チーム データ 基盤 チーム etc
3. SLOの導入
• いろんな書籍や事例を参考に考えた • 各チームと話し合い、 CUJを中心とした SLOを作成 • エラーバジェットは水曜起算の 1週間 •
エラーバジェットが枯渇した場合は、そ のスプリントはリリース禁止 • ルールを整備して、各チームにSLO運 用をお願いした(SREは運用補助) SLOを策定
• ユーザーが 1 つの目的を達成するため に行うサービスとの一連のインタラクショ ン(1 回のクリックやマルチステップ パイ プラインなど) •
複数サービスを跨ぐため、 SLOは複数 チームでの共同運用 となった(SREはそ の補助) CUJ(Critical User Journey) PCで求人一覧を見る PCから求人広告を出す
4. 半年間の振返り
• POやMgrにはリリース禁止が痛す ぎた • リリース禁止が相次ぐと事業計画 に支障がでる • リリース作業を禁止されると、その スプリントの計画が崩れる 「リリース禁止」というワードが強すぎた
• エラーバジェット枯渇時には信頼 性回復に努める • 話し合ってポストモーテムを作成 し、再発防止に努める やりたかったこと 現実
• リリース禁止が障害の原因ではな いチームにも適用されて割を食う • 守ることに目がいって、 SLO自体を 変えようとしなくなる オーナーシップ不在 • 各チームで協力して
SLOを運用 • SLO違反時には情報を共有しあっ て解決 • SLO自体がおかしいと思ったら、 話し合いで変更する やりたかったこと 現実
• とりあえずDiscordに集まっただけ • 障害の原因になっていないチーム は時間のロスになる SLO違反の対応フローが整ってなかった • SLO違反時には各チームで協力 して対応、調査 やりたかったこと
現実
• 起算日はエラーバジェットが少な いので、起算日に障害が起きると あっという間に枯渇からリリース禁 止 • 逆に週末はエラーバジェットが溜 まってるので多少のエラーは大丈 夫というチート •
リリースミスしてすぐに切り戻しても リリース禁止になった時の悲しさ エラーバジェットに起算日を設けた • スプリントを1週間(水曜スタート)に した。スクラム開発が基本なので、 スプリントの計画に盛り込みやす いように • 次のスプリントで障害対策をできる ので、チームの機動力が上がる やりたかったこと 現実
• 「え?リリース禁止?」だけが飛び交う Slack • リリース禁止が障害のペナルティに なった • SLIで品質をみて欲しい人生だった • 「俺たちは普通に運用監視も障害対
策もできてるのに、SLOを導入するメ リットがわからんです」 想いが伝えられなかった • システム健全性の可視化 • 機能開発か信頼性向上、どちらに リソースを割くかのパラメータに SLOを使う やりたかったこと 現実
Thanks! 総括 • 詰め込みすぎたのかなという印象 • 段階的導入も放置されるリスクがある • 「人にやってもらう」難しさ • テキストだと伝わらないのか
伝えすぎてしまうのか
More Decks by ryotaro kobayashi
See All by ryotaro kobayashi
組織で育むオブザーバビリティ
ryota_hnk
0
390
なぜあなたのオブザーバビリティ導入は頓挫するのか
ryota_hnk
5
870
Information_from_Rancher_JP.pdf
ryota_hnk
0
91
Rancherのイイところとアレなところ.pdf
ryota_hnk
0
110
Splunk_on_Rancher_のススメ.pdf
ryota_hnk
0
96
cloudstackとの思い出.pdf
ryota_hnk
0
100
EC2のApache-PHPで動いてたバッチシステムをECS-Fargateに移行して運用してる話.pdf
ryota_hnk
0
710
脱Excel_OSSを組み合わせた構成管理自動化.pdf
ryota_hnk
0
96
監視ってなんだっけ_.pdf
ryota_hnk
0
160
Other Decks in Technology
See All in Technology
IVRy における AI 時代のデータプロダクトと事業開発
ivry_presentationmaterials
0
100
Web Performance Is a Journey [PerfNow 2026]
tammyeverts
2
150
クラウドでも使えるNetApp -現場目線での設計とクラウドバックアップの活用
ryutakondo
1
330
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
200
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
270
kubellの最新データ分析環境
kubell_hr
2
260
ノードが消える前提で設計する!Karpenterで金融システムを止めないためのノウハウ大全
daitak
1
250
お風呂場をサーバルームにしよう
yusuke427
0
400
現地速報! Microsoft Ignite アップデートレポート
kasada
1
460
そのイメージ、どのCIが作った? Artifact Attestationsで来歴を固定する / Which CI system created that image? Pinning provenance with Artifact Attestations
chmikata
0
270
Kiro のリモートワークスペース: IDE は手元のままで、ワークスペースをクラウド、コンテナ、自前のマシンに置く
inariku
PRO
1
180
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
270
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k
Believing is Seeing
oripsolob
1
290
Mobile First: as difficult as doing things right
swwweet
225
10k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
Technical Leadership for Architectural Decision Making
baasie
4
660
New Earth Scene 8
popppiees
5
2.9k
We Analyzed 250 Million AI Search Results: Here's What I Found
joshbly
2
2.1k
Build your cross-platform service in a week with App Engine
jlugia
234
19k
The World Runs on Bad Software
bkeepers
PRO
72
12k
The Language of Interfaces
destraynor
162
27k
SEO in 2025: How to Prepare for the Future of Search
ipullrank
3
3.9k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
7.1k