Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
インシデント発生時のSlack / we-fight-with-slack
Search
hideki kinjyo
PRO
July 08, 2019
Technology
1
2.8k
インシデント発生時のSlack / we-fight-with-slack
Tech-on MeetUp#07「OpsとDevの蜜月な関係」
https://techplay.jp/event/734673
「インシデント対応でSlackどう使おうか」という話をしました
hideki kinjyo
PRO
July 08, 2019
Tweet
Share
More Decks by hideki kinjyo
See All by hideki kinjyo
色んなオートローダーを覗き見る #phpcon_okinawa
o0h
PRO
5
460
ヒューマンエラーの本を読んだ ~報告会~
o0h
PRO
3
240
みんなでワイワイ「テスト駆動開発」の話をやる会 #techramen24conf
o0h
PRO
3
460
SPLから始める「データ構造」入門
o0h
PRO
7
1.7k
PHPUnit11の新しい仲間たち
o0h
PRO
3
330
単体テストを書かない技術 #phpcon_odawara
o0h
PRO
60
20k
パンフ記事 「初めてのリファクタリング!」 の裏側 #phperkaigi
o0h
PRO
2
140
phpunit/php-code-coverageって何をしてるんだ #phperkaigi
o0h
PRO
3
1.2k
Composerを便利に使うために私がやっていること #phperkaigi
o0h
PRO
1
2.4k
Other Decks in Technology
See All in Technology
Python(PYNQ)がテーマのAMD主催のFPGAコンテストに参加してきた
iotengineer22
0
480
Oracle Cloud Infrastructureデータベース・クラウド:各バージョンのサポート期間
oracle4engineer
PRO
28
13k
プロダクト活用度で見えた真実 ホリゾンタルSaaSでの顧客解像度の高め方
tadaken3
0
100
AWS Media Services 最新サービスアップデート 2024
eijikominami
0
200
【若手エンジニア応援LT会】ソフトウェアを学んできた私がインフラエンジニアを目指した理由
kazushi_ohata
0
150
Amazon Personalizeのレコメンドシステム構築、実際何するの?〜大体10分で具体的なイメージをつかむ〜
kniino
1
100
【Pycon mini 東海 2024】Google Colaboratoryで試すVLM
kazuhitotakahashi
2
510
ドメインの本質を掴む / Get the essence of the domain
sinsoku
2
150
信頼性に挑む中で拡張できる・得られる1人のスキルセットとは?
ken5scal
2
530
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.8k
これまでの計測・開発・デプロイ方法全部見せます! / Findy ISUCON 2024-11-14
tohutohu
3
370
AWS Lambda のトラブルシュートをしていて思うこと
kazzpapa3
2
180
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
The Cult of Friendly URLs
andyhume
78
6k
Teambox: Starting and Learning
jrom
133
8.8k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
506
140k
GraphQLとの向き合い方2022年版
quramy
43
13k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
The Power of CSS Pseudo Elements
geoffreycrofte
73
5.3k
Visualization
eitanlees
145
15k
Agile that works and the tools we love
rasmusluckow
327
21k
Intergalactic Javascript Robots from Outer Space
tanoku
269
27k
Designing for Performance
lara
604
68k
Transcript
Slackによる インシデント対応 Tech-on MeetUp#07 Hideki Kinjyo twitter: @o0h_ / github:
o0h
ࣗݾհ • ίωώτגࣜձࣾ • αʔόʔαΠυΤϯδχΞ • ओʹCakePHPͳͲ
最近は監視をhogehogeしています 会社のブログ -> http://tech.connehito.com/archive/author/o0h
今⽇のお話: インシデント発⽣時の コミュニケーションを整える with Slack
(⽐較的⼩さなチームで) インシデント時の緊急対応、 どうしていますか?
我々のチームの規模感 αʔόʔαΠυ Σϒϑϩϯτ ϞόΠϧ Πϯϑϥ
我々のチームの規模感 αʔόʔαΠυ Σϒϑϩϯτ ϞόΠϧ Πϯϑϥ • めっちゃくちゃ少ない、って程でもないが • DevもOpsも⼊り混じってるよ〜くらいのサイズ
⼩さいチームの良い所/悪い所 • 良い所: • 知識量が分散しにくい • コミュニケーションがとりやすい • 悪い所: •
「仕組み化」が過剰コストになりがち
この状態で 「インシデント対応」 どうしていくか?
そもそもの話として・・・ • インシデントが発⽣したときって • いろんな判断⼒が求められたり • やったこと無いとムズい(怖い)し • テンパるし
怖くて孤独
チームの「良さ」を活かして 問題の「難しさ」に 対処したい!
⼩っちゃいからさ! • まだまだ整備(やマンパワー)が 追いついていない部分も多いが • 全員が互いの顔や職務を知っているくらいの 距離感にいるから • 「誰に任せる」「⾃分がやる」の綱引きを スムーズにやりやすいよう整えれば勝てる!
武器:コミュニケーション
Slackでザクザク対応していく
いざという時のための 「Slackどう使う?」の ふわっとガイドライン
コネヒトでの流れ 1. 障害検知 => アラートに気づいた誰かが投げる 2. Slack上にテンポラリな「対応専⽤チャンネル」作成 => インシデントごとの使い捨て 3.
調査 => その時に⼿を動かせる⼈がいっぱい頑張る 4. ⼀次対応 => その場でできることをいっぱい頑張る 5. ポストモーテム
コネヒトでの流れ 1. 障害検知 => アラートに気づいた誰かが投げる 2. Slack上にテンポラリな「対応専⽤チャンネル」作成 => インシデントごとの使い捨て 3.
調査 => その時に⼿を動かせる⼈がいっぱい頑張る 4. ⼀次対応 => その場でできることをいっぱい頑張る 5. ポストモーテム
実際の例
なんでチャンネルを? • 「対応チーム」がないので 「騒ぎ⽴てるのをわかりやすくしたい」。 関係者全員の温度感を上げるのも必要 • (⼀次対応の完了後に) 恒久対応時に速やかに情報を整理したい &振り返り・検証材料 •
全てが完了したらチャンネルごとアーカイブ
チャンネルをどう使うか? • 開設後に即座に • エンジニア、ディレクターをinvite • 検知したエビデンス、いま分かっているこ とを貼り付ける • 対応可能な⼈の確認(リアクションを⾶ばす)
チャンネルをどう使うか? • 状況の進展に応じて • 役割分担(cf: ⼊⾨監視「インシデント管理」 (P48)) • 調査状況や判明した事実、仮説を随時投げ 込む
チャンネルをどう使うか? • ⼀次対応が完了したら • 「収束した」と判断した材料を共有、合意を取る • ポストモーテムに向けて • 根本原因の調査や報告の取りまとめを誰が&どう進める か?の確認
• すべての振り返りを完了させたらチャンネルのクローズ
作業フローの整備にあたって • 「インシデント対応⼼構え」の⾔語化、共有 • ユーザー被害の沈静化 >> 根本原因究明 • 事実と推測を切り分ける •
最悪の事態を想定する etc • 「実際の流れ」のシミュレーション、 メンバー全員による共有会の実施
まとめ!
おさらい 1. インシデント対応時に「重要なこと」「優先 順位」の明確化、認識の共通化をする 2. それらの⽬的に即した「情報流通のあり⽅」 のイメージを持つ 3. 事例を蓄積していく
細かく決めすぎない! • 「決めごと」は萎縮を招く • ⽬的意識だけ共有して、柔軟性を尊重 • 「(誰でも)気持ちよく動くには?」の プラクティスをまとめていくのが⼤事 • いつも対応してる⼈の”アルアル”観点
͓͖߹͍͍͖ͨͩ ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ