Upgrade to Pro — share decks privately, control downloads, hide ads and more …

キヨさん続編16_SRE編

 キヨさん続編16_SRE編

コロッケそば

November 17, 2026

Transcript

25 slides
  1. キヨさん続編16_SRE編 | SRE(サービスの信頼性をソフトウェアの技術で作り込む仕事) キヨさん、 失敗の予算を 組む 信 「止まらないのが一番」と信じてきたのに、「100%を目指すな」と言われた。 昭和のSEキヨさんが、Google生まれのSREを相棒と整理する話 SRE

    SLO エラーバジェット バーンレート トイル ポストモーテム ※この物語はフィクションです。登場人物は架空です。SREの説明は、Googleの公開資料などに基づきます。 「壊れていい予算だと?」
  2. 人 登場人物 いつもの3人と相棒のAI。今回の舞台は、IoTの勉強会 清 ハ ミ 相 山田 清之(67) キヨさん

    孫・ハルト(21) 助手 南 ミナミ(29) Webエンジニア AI「相棒」 壁打ち相手 元メインフレームSE。止まらな いシステムが誇り。SREはポス トモーテムとマイクロサービス くらいしか知らない 情報系の大学生。今回も解説係 。キヨさんの思い込みを、やさ しく訂正する 会社のIoT基盤でSREを始めた 。勉強会でSLOとエラーバジェ ットの話をした登壇者 キヨさんのおしゃべりLLM。た まに答えを間違えるので、自分 のエラーバジェットが気になる 「ファイブナインだ」 「正確にはね」 「100%は目指しません」 「残り0.1%です」 ※登場人物はすべて架空です キヨさん続編16_SRE編 2
  3. 序 銀行がGoogleに? キヨさんの理解度 5% プロローグ|日曜の朝、キヨさんの書斎 キヨさんの切り抜き帳(要旨) 清 障害続きの銀行が、Googleに頼ったと聞いて腰を抜かした 清 Googleなんて、派手な新サービスの会社だと思っとった

    ハ 正確には、ね。でもGoogleは昔から、止まらない仕組みにすごくうるさい会 社なんだ 清 SREなら知っとる。ポストモーティブと、マイクロサービスだろ ハルトの訂正 ハ ポストモーテム。それに、マイクロサービスはSREそのものじゃないよ 提携の中身は主にDX。「信頼性をGoogleに丸ごと頼んだ」 わけではない。Googleの支援でSREを始めた金融の例は、 カード会社のJCB(2021年) 清 ……一から教えてもらおうか 2021年 ある大手銀行で、システム障害が1年に何度も続く 2022年3月 その銀行のグループが、Google Cloudと提携 報道では 「日本の金融機関がグーグルのシステム運用に熱視線」 という見出しも ※参考:日本経済新聞、Impress Watch、IT Leaders、Business Insider Japanなどの報道。ハルトの訂正は報道の範囲での要約 キヨさん続編16_SRE編 3
  4. 1 運用をソフトの問題として解く キヨさんの理解度 10% 第1章|SREとは何か 観点 これまでの運用 SRE 目標 100%の稼働を目指す

    SLOで「許してよい失敗」を決める 作業 手作業で監視し、手で直す 繰り返しの手作業(トイル)を自動化でなくす 障害 誰のミスかを追う 仕組みの問題として直す 開発との関係 安定と速さで対立する エラーバジェットで合意する SREの生みの親の言葉 清 昭和の夜間オペレーターは、気合いと根性だった 「SREとは、ソフトウェアエンジニアに運用チームを設計させたときに 起きること」。2003年にGoogleでSREチームを作ったベン・トレイナ ー・スロスの言葉 ハ SREは、その気合いをコードに置き換える 清 信頼性も「機能」の一つ、ということか ※出典:Beyer ほか『Site Reliability Engineering』(O'Reilly, 2016)。2026年10月に第2版が出ている キヨさん続編16_SRE編 4
  5. 2 SREを支える9本の柱 キヨさんの理解度 15% 第2章|全体の地図 SLO/エラーバジェット トイルの撲滅 オブザーバビリティ 失敗の許容枠を数字で決める 手作業を自動化で減らす

    見たことのない不具合の原因を探れる 昭和なら:不良率の目標 昭和なら:テープ交換の自動化 昭和なら:ダンプを読める仕組み カオスエンジニアリング リリースエンジニアリング キャパシティプランニング わざと壊して強さを確かめる 変更を少しずつ安全に出す 需要を予測して先に備える 昭和なら:抜き打ちの避難訓練 昭和なら:一部の支店から先行稼働 昭和なら:給料日のATM対策 インシデント対応 ポストモーテム 持続可能なオンコール 役割を分けて素早く復旧する 責めずに学び、再発を防ぐ 人が燃え尽きない体制を作る 昭和なら:火事場の指揮 昭和なら:始末書の反対 昭和なら:ポケベル地獄の反省 清 わしの知っとったポストモーテムは、9本のうちの1本だったのか ※ポケベル(ポケットベル):呼び出し専用の小型無線機。鳴ったら公衆電話から折り返した(1968〜2019年) キヨさん続編16_SRE編 5
  6. 3 「100%を目指すな」と言われた日 キヨさんの理解度 20% 第3章|IoT勉強会でのミナミさんの発表 ミナミさんのスライド(抜粋) ・信頼性100%は、間違った目標 ・9を1つ増やすたびに、費用は跳ね上がり、開発は遅くなる キヨさんの頭の中 わしらの勘定系はファイブナイン(99.999%)が誇りだった。止まら

    ないことが、銀行の信用そのものだ。なのに、壊れてよいだと? ・利用者の手元のスマホや回線は、そもそも100%ではない ・だから「どこまで壊れてよいか」を先に決める 昭和の常識:止めたら負け 清 質問! ミ 止まってよいとは言ってません。どこまでなら利用者が困らないかを、数字で決めるんです ハ じいちゃんの勘定系も、変更は年に数回だったでしょ。速さを犠牲にして安定を買ってたんだよ 止まってよいシステムなど、あるもんか ※「100%は間違った目標」はGoogle SRE本の考え方 キヨさん続編16_SRE編 6
  7. 測る・目指す・約束する 4 キヨさんの理解度 26% 第4章|SLI・SLO・SLAの違い SLI サービスレベル指標 SLO サービスレベル目標 SLA

    サービスレベル合意 何を測るか どこを目指すか 破ったらどうなるか 利用者の体験に直結する測定値。 例:成功したリクエストの割合 SLIの社内目標。 例:30日間で成功率99.9%以上 顧客との契約。違反時は返金など。 例:99.5%未満なら利用料を返金 特急なら:実際の遅れ(分) 特急なら:社内の定時運行目標 特急なら:大きく遅れたら特急料金を払い戻し 鉄則:SLOはSLAより厳しくする(例:SLA 99.5%/SLO 99.9%)。SLOを守っていれば、契約違反の手前で気づける 清 社内目標が契約より厳しいのは当然だ。ギリギリで走る運転士はおらん ※JRの特急は、到着が2時間以上遅れると特急料金を払い戻す(たとえとしての例) キヨさん続編16_SRE編 7
  8. 5 エラーバジェット=失敗してよい予算 キヨさんの理解度 33% 第5章|100% − SLO で決まる「壊れてよい量」 SLO 許される停止(30日)

    使われどころの例 月1,000万リクエスト × 0.1% 99% 約7.2時間 社内ツールなど = 1万回までは失敗してよい 99.5% 約3.6時間 社内の業務システムなど 99.9% 約43分 多くのWebサービス 99.95% 約22分 決済・重要なAPI 99.99% 約4.3分 自動復旧が前提 ハ 9が1つ増えると、許される停止は10分の1。そのぶん費用も手間も跳ね上がる 清 ファイブナインなら、月26秒か。……そりゃ変更も年に数回になるわけだ SLO 99.9% のとき キヨさんのたとえ:不良率の目標 工場でも不良ゼロは目指さない。目標の不良率を決めて、そ の範囲なら出荷する。エラーバジェットは、その「許される 不良の残り」だ ※停止時間は、全面停止に換算した目安(30日=43,200分で計算) キヨさん続編16_SRE編 8
  9. 6 SLOは、利用者の目線で決める キヨさんの理解度 39% 第6章|設定例:一般向けWebサービスのAPI 種類 SLI(何を測るか) SLO(目標) 評価期間 可用性

    全リクエストのうち、サーバーエラー(5xx)にならずに返った割合 99.9%以上 直近30日間 応答の速さ 全リクエストのうち、300ミリ秒以内に返った割合 95.0%以上 直近30日間 平均ではなく割合で 利用者の目線で測る 届く値から始める 平均だと、ひどく遅い一部が隠れる。「95%が 300ms以内」のように決める CPU使用率ではなく、利用者が体験する成功率 や速さを、手元に近い所で測る 過去3か月の実績より少し低い目標で始め、四半 期ごとに見直す 昭和なら:平均点より、赤点の人数 昭和なら:窓口の待ち時間 昭和なら:無理のない年度目標 清 CPUが暇でも、客が待たされとったら意味がない。窓口と同じだな ミ 指標は2〜3個で十分です。多いと、誰も見なくなります キヨさん続編16_SRE編 9
  10. 7 残高で行動を切り替える キヨさんの理解度 45% 第7章|バジェットポリシー(事前に合意しておく) 100〜50% 通常運転 ・新機能の開発とリリースを最優先 ・余った予算は「攻め」に使い、冒険的な改善 も試す

    50〜0% 注意・警戒 0%(使い切り) ・技術的負債の解消とテストの比率を上げる ・段階リリースの見張りを長めに ・20%を切ったら危ないリリースは見送る キヨさんのたとえ:月の小遣い 残りが多いうちは趣味に使う。半分を切ったら控えめに。使い切ったら 、月末までおとなしくする。家族と先に決めておくのがミソ リリース凍結 ・セキュリティと緊急のバグ修正以外は出さな い ・開発とSREが一緒に安定化 ・予算が戻るか、再発防止が済んだら解除 清 要は、揉める前に決めておくんだな ミ そうです。開発と運用のケンカが、数字の確認になります ※エラーバジェットは眺める数字ではなく、行動を切り替えるスイッチ キヨさん続編16_SRE編 10
  11. 残高より減る速さを見張る 8 51% 第8章|バーンレートでアラートを出す バーンレート = 実際のエラー率 ÷ 許されるエラー率 30日分の予算が尽きるまでの日数

    35 30 30. 25 日 キヨさんの理解度 20 15. 15 10 5. 5 2.1 0 1 2 6 14.4 通知 長い窓 短い窓 バーンレート 予算の消費 すぐ呼び出す 1時間 5分 14.4 2% すぐ呼び出す 6時間 30分 6 5% チケットにする 3日 6時間 1 10% 長い窓と短い窓の両方が閾値を超えたときだけ通知する。長い窓で誤報を防ぎ、短い窓で「 もう直った障害」での呼び出しを防ぐ バーンレート キヨさんのたとえ:燃費計 ガソリンが空になってからでは遅い。減る速さが異常なら、残量があっ ても止まって確かめる ハ 14.4は、1時間で月の予算の2%を使う勢い。大障害のペースだ よ 清 夜中に起こすのは、本当に燃えてるときだけか。ありがたい ※推奨値はSLO 30日の場合(Google『The Site Reliability Workbook』) キヨさん続編16_SRE編 11
  12. 9 トイルをなくし頭を使う時間を作る キヨさんの理解度 57% 第9章|トイルの撲滅 トイルの見分け方(6つの特徴) 手作業である 繰り返し起きる 自動化できる 場当たり的・受け身

    長く残る価値がない サービスの成長に比例して増え る トイルは 50% 50%未満に 50% 例:サーバーの手動再起動、いつもの警報への定型対応、手作業のデプロイ、権限申請の処理 改善・自動化 運用(トイル) まず1〜2週間トイルを記録し、「回数×かかる時間」が大きいものから自動化する キヨさんの昭和トイル 夜中のテープ交換、帳票の仕分け、毎朝同じ手順のオンライン立ち上げ 。全部、人が手でやっていた キヨさん続編16_SRE編 清 あれを半分以下にしろと? ハ Googleは、SREの運用作業を50%までに抑える決まりにしてる んだ 当時なら夢物語だ 12
  13. 10 監視からオブザーバビリティへ キヨさんの理解度 63% 第10章|知っている異常と、知らない異常 監視(モニタリング) オブザーバビリティ(可観測性) 想定した異常を見つける 想定外の「なぜ」を探れる 「CPU80%超えで警報」など、前もって決めた異常を知らせる

    いろいろなデータを掛け合わせ、見たことのない不具合の原因を追える 。マイクロサービスでは必須 3本柱のテレメトリー ログ まず見る4つのゴールデンシグナル メトリクス トレース レイテンシ トラフィック リクエストの量 一つひとつの出来事の記 録 数値の移り変わり サービス間の経路と遅れ 応答にかかる時間 病院なら:カルテ 病院なら:体温・血圧の 表 病院なら:胃カメラ エラー サチュレーション 失敗したリクエストの割合 資源の逼迫ぐあい 清 監視は熱が出たら鳴る体温計、可観測性は精密検査か ハ そう。熱の原因まで突き止められるのが、可観測性 キヨさん続編16_SRE編 13
  14. 11 障害の7割は「変更」から キヨさんの理解度 69% 第11章|リリースエンジニアリングと段階的な公開 約70% 動いているシステムへの変更がきっか けで起きた障害の割合(Google SRE本 )

    カナリアリリースの流れ 1% 10% 50% 100% 各段階でSLIを確かめ、悪くなったら自動で元に戻す カナリアリリース ブルー/グリーン ★ フィーチャーフラグ ★ 自動ロールバック 一部の利用者に先に出し、エラー が出ないか見る 新旧2つの環境を用意し、問題があ れば一瞬で旧に戻す デプロイと機能の公開を分け、設 定だけでON/OFF SLIの悪化を見つけたら、人を待た ずに戻す 名前は炭鉱のカナリアから 昭和なら:予備機への切り替え 昭和なら:運用スイッチ 昭和なら:自動で予備に切替 清 炭鉱のカナリアか。先に倒れて危険を知らせる、あれだな ハ 速く小さく出して、まずければすぐ戻す。それが一番の守り キヨさん続編16_SRE編 14
  15. 12 壊して確かめ予測して備える キヨさんの理解度 74% 第12章|カオスエンジニアリングとキャパシティプランニング カオスエンジニアリング キャパシティプランニング わざと障害を起こし、自動で立ち直れるかを確かめる(例:NetflixのChaos Monkey) 過去の利用やキャンペーン予定から、いつ・どれだけ来るかを読んで備える

    1 ふだんの状態をSLIで決める 1 需要を予測する(季節・イベント) 2 「この障害でも保てる」と仮説を立てる 2 負荷試験で限界を知る 3 サーバー停止や遅れを、わざと起こす 3 余裕を持たせる(N+2が目安) 4 比べて仮説を確かめ、弱いところを直す 4 自動で増やす仕組みと上限を決める ★ カオス実験は影響範囲(爆発半径)を小さく始め、検証環境 → 本番の一部へと広げる 清 本番で電源を抜くなど、昭和なら始末書どころか首が飛んだ ハ 抜き打ちの避難訓練だよ。本物の火事のときに慌てないために ※N+2:ピーク時に必要な台数Nに加え、1台が保守中、もう1台が故障しても回せる余裕 キヨさん続編16_SRE編 15
  16. 13 火事場では、指揮役は手を動かさない キヨさんの理解度 79% 第13章|★インシデント対応:役割を分けて素早く直す インシデント コマンダー オペレーション 担当 コミュニケーション

    担当 計画 担当 全体の指揮と判断。原則として自 分では手を動かさず、状況の把握 と役割の割り当てに徹する 切り戻しや設定変更など、システ ムに手を入れる唯一の担当 関係者と顧客に、決まった間隔で 状況を伝える。ステータスページ の更新 バグ登録や引き継ぎなど長めの課 題。ふだんと変えた点を記録して おく 対応の流れ 検知 宣言・役割分担 影響を抑える 清 昔は障害が起きると、全員が端末に群がって、誰が何をしたか分からなくなった ハ だから原因探しより先に、まず影響を止める。指揮役は消防の隊長と同じ キヨさん続編16_SRE編 復旧を確かめる ポストモーテム 16
  17. 14 始末書ではなく、ポストモーテム キヨさんの理解度 83% 第14章|★責めずに、仕組みを直す 昭和の始末書 ポストモーテム 誰がミスしたか なぜ仕組みがミスを許したか 名前を書いて謝る。次から、みんな失敗を

    隠すようになる 人は必ずミスをする前提。名前でなく役割 で書き、正直に書いた人が損をしない 書くこと 概要と影響 消費したエラーバジェットも タイムライン 検知・判断・対応を時刻つきで 根本原因と誘因 → 情報が上がらない → 組織全体で共有する 技術と、それを許した仕組み 良かった点・悪かった点 書く目安の例 利用者に影響のある障害、データ消失、オンコールの手作業での介入、月の予算を大きく使ったと き 運が良かっただけの点も正直に アクションアイテム 担当と期限つき、完了まで追う 清 ポストモーティブと覚えとったが、「検死」の意味か。死人に口なし、ではなく、死人から学べ ハ そう。それに名前を書かないから、みんな正直に書ける ※postmortem は英語で「検死」の意味 キヨさん続編16_SRE編 17
  18. 14 焦げた鍋で3つを比べる キヨさんの理解度 84% 第14章のつづき|同じ失敗を、5W1H・なぜなぜ・ポストモーテムでふり返る 事件 日曜の夕方、キヨさんがカレーの鍋を焦がした。家じゅう焦げくさい 5W1H なぜなぜ分析 ポストモーテム

    事実のメモ 一本の糸をたぐる 家族会議と、冷蔵庫の貼り紙 たとえるなら:事故の届け出 たとえるなら:子どもの「なんで?」攻撃 たとえるなら:責めない反省会 いつ:日曜17時ごろ どこで:自宅の台所 誰が:キヨさん 何を:カレーの鍋を焦がした なぜ:火をつけたまま離れた どうした:鍋を水につけて換気 なぜ焦げた?→ 火をつけたまま離れた なぜ離れた?→ 電話が鳴った なぜ戻らなかった?→ 長電話で忘れた なぜ忘れた?→ 知らせる物がない なぜない?→ タイマーを使う習慣がない → 煮込むときはタイマーを使う 影響:夕飯が1時間遅れた 原因(複数):タイマーがない/電話が居間/コン ロに消し忘れ機能がない 宿題:タイマー購入(キヨ・今週)、電話を台所へ (ハルト・週末) 共有:冷蔵庫に貼る 分かるのは「何が起きたか」 分かるのは「一番深い原因」 分かるのは「何を、誰が、いつまでに直すか」 清 5W1Hは届け出、なぜなぜは「なんで?」の5連発。で、家族会議で宿題を配って、冷蔵庫に貼るのがポストモーテムか ハ そう。前の二つは、家族会議の中で使う道具なんだ キヨさん続編16_SRE編 18
  19. 14 包丁と台所のしきたり キヨさんの理解度 85% 第14章のつづき|なぜなぜ・5W1Hとポストモーテム、似ているところと違うところ 似ているところ キヨさんのたとえ どれも、事実をもとに原因を突き止め、同じ失敗をくり返さないための道具 。なぜなぜ分析は本来、人ではなく工程や仕組みの原因を探す手法(トヨタ 生産方式で有名)。日本のものづくりとSREは根っこが近い

    なぜなぜと5W1Hは、よく切れる包丁。ポストモーテムは、献立から後 片付けまで決めた台所のしきたり。包丁だけでは、料理は回らない 違い1 違い2 違い3 責めないと決めている 原因を一本にしない 後始末まで一式 なぜなぜは「なぜ焦がした?→キヨさんの不注意」 で止まると、本人の反省会で終わる。ポストモーテ ムは「うっかりは誰でもする。うっかりしても焦げ ない台所にしよう」と考える なぜなぜは一本の糸をたぐりがち。でも失敗は、穴 の空いたチーズを何枚も重ねて、穴がたまたま一列 にそろったときに起きる。だから原因を複数書く 反省会で「気をつけよう」で終わらせない。宿題に 担当と期限をつけて、終わるまで追いかける。家族 みんなに見えるよう貼り出す たとえ:犯人探しより、ガードレール たとえ:穴あきチーズの重なり たとえ:冷蔵庫の貼り紙 清 昭和の反省会は「以後気をつけます」で終わっとった。だから同じ鍋を何度も焦がしたんだな ※穴あきチーズのたとえは、事故の起き方を説明する「スイスチーズモデル」(心理学者ジェームズ・リーズン) キヨさん続編16_SRE編 19
  20. 15 ポケベル地獄をくり返さない キヨさんの理解度 86% 第15章|★燃え尽きないオンコール体制 25%以下 2件以下 8人以上 オンコールに使う 時間の上限

    12時間シフトあたりの インシデント数(警報の数ではない) 1拠点で当番を回す最少人数 (2拠点なら各6人) いずれもGoogleの目安 警報はすべて対応できるものに 鳴っても何もしない警報は消すか、チケ ットにする 連絡の道筋を決める 一次・二次担当と、迷ったときの相談先をはっきり ランブックを整える 負担に報いる 清 ポケベルが鳴るたびに夜中にタクシーで駆けつけた。3人で回しとったからな ミ それでは判断を誤ります。信頼性は、人が支えてるんです 誰が呼ばれても、同じ手順で一次対応できる 代休や手当、当番明けの仕事の調整 ※ポケベル(ポケットベル):呼び出し専用の小型無線機。鳴ったら公衆電話から折り返した(1968〜2019年) キヨさん続編16_SRE編 20
  21. 16 小さく始めて回し続ける キヨさんの理解度 88% 第16章|導入ロードマップと、ミナミさんのIoT基盤 1 2 3 4 5

    大事な利用場面を選ぶ SLIを測りはじめる SLOと方針を合意する バーンレート警報へ移す トイル削減と振り返りを 根づかせる ログイン・検索・決済など、 止まると困る場面 利用者目線の成功率と速さ 過去3か月より少し低い目標 で、開発・事業側と 古い閾値の警報を整理し、呼 び出しを減らす ポストモーテムと宿題を回し 続ける 四半期ごとに見直す:目標が緩すぎて品質が落ちていないか? 厳しすぎて開発が止まっていないか? ミナミさんのIoT基盤では センサーのデータが「5分以内に画面に届いた割合」をSLIにした。工場 の人が見るのは、CPUではなく画面だから 清 最初から完璧な数字は要らん、か。まず測れ、だな ミ はい。決めて、測って、直す。そのくり返しです ※ミナミさんのSLIは物語の例 キヨさん続編16_SRE編 21
  22. 結 キヨさんのSRE早見表 キヨさんの理解度 89% まとめ|昭和の言葉で読むSRE SREのことば ひとことで キヨさんのたとえ SLI/SLO/SLA 測る・目指す・約束する

    特急の遅れ・定時目標・払い戻し エラーバジェット 100%−SLO。失敗してよい予算 許される不良の残り、月の小遣い バーンレート 予算の減る速さで警報 燃費計 トイル 価値を生まない手作業。50%未満に 夜中のテープ交換 オブザーバビリティ 想定外の「なぜ」を探れる 体温計より精密検査 カナリアリリース 一部に出して、だめならすぐ戻す 炭鉱のカナリア ポストモーテム 責めずに仕組みを直す 始末書の反対 SREは「保守・運用の係」ではなく、信頼性を設計するエンジニアの集まり 100点は狙わない。何点なら許せるかを先に決め、数字で開発と折り合う キヨさん続編16_SRE編 22
  23. 終 晩酌のエラーバジェット キヨさんの理解度 90% エピローグ|一週間後、キヨさんの家 清 家内と晩酌のSLOを決めた。「週に2日は休肝日」だ キヨ家の晩酌ポリシー ハ じゃあ、エラーバジェットは週5日だね

    SLI:休肝日の日数 清 月曜から3日続けて飲んだ 相 残りの予算は2日、40%です。このペースだと金曜で尽きます。注意・警戒、ビールは 1缶まで 予算が残っている:通常運転 清 ……ポストモーテムを書く。根本原因は、月曜の冷奴がうますぎたことだ 予算が半分以下:ビールは1缶まで ハ それ、仕組みじゃなくて冷奴のせいにしてるよ 清 今日の理解度は九割。残りの一割は、来週の予算で取り返す SLO:週2日以上 予算ゼロ:週末まで凍結(例外は法事のみ) ※登場人物と会話は物語の例です キヨさん続編16_SRE編 23
  24. 付 付録:信頼性の言葉 キヨさんの用語集|令和の言葉と、昭和のSEの言葉 言葉 意味 キヨさんの言葉 SRE ソフトウェアの技術で運用の課題を解く考え方と職種。Google生まれ 気合いをコードに SLI

    利用者の体験に直結する測定値 実際の遅れ SLO SLIの社内目標。SLAより厳しく決める 定時運行の目標 SLA 顧客との契約。破ると返金など 払い戻しの約束 エラーバジェット 100% − SLO。失敗してよい量 許される不良の残り バーンレート 実際のエラー率 ÷ 許されるエラー率 燃費計 トイル 手作業・繰り返し・自動化できる、価値を生まない作業 テープ交換 オブザーバビリティ 想定外の不具合の原因を、内部のデータから探れること 精密検査 カナリアリリース 一部の利用者に先に出して確かめるやり方 炭鉱のカナリア カオスエンジニアリング わざと障害を起こして強さを確かめる活動 抜き打ち避難訓練 ポストモーテム 責めずに障害をふり返り、仕組みを直す文書と活動 始末書の反対 オンコール 決まった時間、呼び出しに備える当番 ポケベル当番 ポケベル ポケットベル。呼び出し専用の小型無線機。1968年開始、2019年に個人向け終了 昭和の呼び出し係 キヨさん続編16_SRE編 25

More Decks by コロッケそば

Other Decks in Technology