Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
SLOの導入で失敗したこと.pdf
Search
ryotaro kobayashi
April 17, 2022
Technology
150
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
SLOの導入で失敗したこと.pdf
ryotaro kobayashi
April 17, 2022
Transcript
17 slides
SLOの導入で 失敗したこと 2021/12/20 ryotaro(twitter:@ryota_hnk)
Agenda 01 02 03 04 組織構成とSREチーム SLOの導入方法 振り返り 自己紹介
1. 自己紹介
• 求人検索サービスのSRE • おっさんだけど業界歴は浅い フリーター → COBOLer → Oracle DBA
→ インフラエンジニ ア → SRE • 好きな技術:TCP/IP • 苦手な技術:正規表現 ryotaro @ryota_hnk
これからお話しすることは所属組織を代 表する意見ではなく、あくまでも個人とし ての振り返りです。 組織にSLOを導入する際の参考としてご 活用いただけると幸いです。
2. 組織構成とSRE
• 各サービスごとにチームが分かれてる • 各チームが独立して運用している(イン フラ含めて) • SREは各チームに共通的な基盤や仕組 みを提供する • SREは各サービスに間接的に関わって
いる • SREチーム≠運用チーム SREの立ち位置 UI/UX チーム SRE チーム 広告 チーム データ 基盤 チーム etc
3. SLOの導入
• いろんな書籍や事例を参考に考えた • 各チームと話し合い、 CUJを中心とした SLOを作成 • エラーバジェットは水曜起算の 1週間 •
エラーバジェットが枯渇した場合は、そ のスプリントはリリース禁止 • ルールを整備して、各チームにSLO運 用をお願いした(SREは運用補助) SLOを策定
• ユーザーが 1 つの目的を達成するため に行うサービスとの一連のインタラクショ ン(1 回のクリックやマルチステップ パイ プラインなど) •
複数サービスを跨ぐため、 SLOは複数 チームでの共同運用 となった(SREはそ の補助) CUJ(Critical User Journey) PCで求人一覧を見る PCから求人広告を出す
4. 半年間の振返り
• POやMgrにはリリース禁止が痛す ぎた • リリース禁止が相次ぐと事業計画 に支障がでる • リリース作業を禁止されると、その スプリントの計画が崩れる 「リリース禁止」というワードが強すぎた
• エラーバジェット枯渇時には信頼 性回復に努める • 話し合ってポストモーテムを作成 し、再発防止に努める やりたかったこと 現実
• リリース禁止が障害の原因ではな いチームにも適用されて割を食う • 守ることに目がいって、 SLO自体を 変えようとしなくなる オーナーシップ不在 • 各チームで協力して
SLOを運用 • SLO違反時には情報を共有しあっ て解決 • SLO自体がおかしいと思ったら、 話し合いで変更する やりたかったこと 現実
• とりあえずDiscordに集まっただけ • 障害の原因になっていないチーム は時間のロスになる SLO違反の対応フローが整ってなかった • SLO違反時には各チームで協力 して対応、調査 やりたかったこと
現実
• 起算日はエラーバジェットが少な いので、起算日に障害が起きると あっという間に枯渇からリリース禁 止 • 逆に週末はエラーバジェットが溜 まってるので多少のエラーは大丈 夫というチート •
リリースミスしてすぐに切り戻しても リリース禁止になった時の悲しさ エラーバジェットに起算日を設けた • スプリントを1週間(水曜スタート)に した。スクラム開発が基本なので、 スプリントの計画に盛り込みやす いように • 次のスプリントで障害対策をできる ので、チームの機動力が上がる やりたかったこと 現実
• 「え?リリース禁止?」だけが飛び交う Slack • リリース禁止が障害のペナルティに なった • SLIで品質をみて欲しい人生だった • 「俺たちは普通に運用監視も障害対
策もできてるのに、SLOを導入するメ リットがわからんです」 想いが伝えられなかった • システム健全性の可視化 • 機能開発か信頼性向上、どちらに リソースを割くかのパラメータに SLOを使う やりたかったこと 現実
Thanks! 総括 • 詰め込みすぎたのかなという印象 • 段階的導入も放置されるリスクがある • 「人にやってもらう」難しさ • テキストだと伝わらないのか
伝えすぎてしまうのか
More Decks by ryotaro kobayashi
See All by ryotaro kobayashi
組織で育むオブザーバビリティ
ryota_hnk
0
390
なぜあなたのオブザーバビリティ導入は頓挫するのか
ryota_hnk
5
870
Information_from_Rancher_JP.pdf
ryota_hnk
0
91
Rancherのイイところとアレなところ.pdf
ryota_hnk
0
110
Splunk_on_Rancher_のススメ.pdf
ryota_hnk
0
96
cloudstackとの思い出.pdf
ryota_hnk
0
100
EC2のApache-PHPで動いてたバッチシステムをECS-Fargateに移行して運用してる話.pdf
ryota_hnk
0
700
脱Excel_OSSを組み合わせた構成管理自動化.pdf
ryota_hnk
0
95
監視ってなんだっけ_.pdf
ryota_hnk
0
160
Other Decks in Technology
See All in Technology
81天的 AI Agent 軟體開發團隊治理實務分享
regionbbs
0
170
Kiro アップデート 2026 年 11 月号 (11 月 8 日時点) | 目指せ Kiro マスター アップデート編
inariku
PRO
2
120
長い仕事を任せる (Workflows、クラウドセッション、Kiro Web) | 目指せ Kiro マスター 10
inariku
PRO
3
190
生成AI時代のIAMのマニアックな話
takuros
6
3.2k
The Author Pays
hiccupps
0
210
異夢同船〜異なる夢でも同じ船でなんとかする〜
fortegp05
0
210
Ebitengine製iOSアプリ公開ボタンを押す会
eiei114
0
120
Kiro CLI 入門 (ターミナルと CI で使う) | 目指せ Kiro マスター 03
inariku
PRO
2
140
Kiro Web 入門 (サインインから、頼み方、PR の受け取り、クラウドの決まりまで) | 目指せ Kiro マスター 04
inariku
PRO
2
110
速くなった開発の効果をどう推し量るのか
bulbulpaul
0
110
Frontier Teams — Amazon は AI で「開発のやり方」をどう変えたのか
kmotohas
0
240
ゼロから作るWebアプリの新定番!?Amplify Gen 2 × AWS Blocksで実現する「開発速度とRDBの柔軟性のいいとこ取り」
amixedcolor
1
250
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
143
7.9k
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
520
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
141
35k
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
430
Odyssey Design
rkendrick25
PRO
3
940
Large-scale JavaScript Application Architecture
addyosmani
516
110k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
3
3.8k
Practical Orchestrator
shlominoach
192
12k
HU Berlin: Industrial-Strength Natural Language Processing with spaCy and Prodigy
inesmontani
PRO
0
800
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
31
3.4k
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
aleyda
1
2.3k