Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
入門 入門 監視 / reading-practical-monitoring
Search
hideki kinjyo
PRO
February 01, 2019
Technology
15
12k
入門 入門 監視 / reading-practical-monitoring
「入門 監視」を読んだので、自分たちのチームに当てはめて考えてみる
hideki kinjyo
PRO
February 01, 2019
Tweet
Share
More Decks by hideki kinjyo
See All by hideki kinjyo
Composerが「依存解決」のためにどんな工夫をしているか #phpcon
o0h
PRO
1
340
Composerの依存解決 #phpstudy
o0h
PRO
0
110
「影響が少ない」を自分の目でみてみる
o0h
PRO
3
1.6k
PHPによる"非"構造化プログラミング入門 -本当に熱いスパゲティコードを求めて- #phperkaigi
o0h
PRO
0
1.5k
もう少しテストを書きたいんじゃ〜 #phpstudy
o0h
PRO
23
5.2k
『テスト書いた方が開発が早いじゃん』を解き明かす #phpcon_nagoya
o0h
PRO
10
3.7k
色んなオートローダーを覗き見る #phpcon_okinawa
o0h
PRO
5
660
ヒューマンエラーの本を読んだ ~報告会~
o0h
PRO
3
340
みんなでワイワイ「テスト駆動開発」の話をやる会 #techramen24conf
o0h
PRO
4
660
Other Decks in Technology
See All in Technology
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
3
1.9k
AI時代にも変わらぬ価値を発揮したい: インフラ・クラウドを切り口にユーザー価値と非機能要件に向き合ってエンジニアとしての地力を培う
netmarkjp
0
130
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
4
1k
推し書籍📚 / Books and a QA Engineer
ak1210
0
140
AWS 怖い話 WAF編 @fillz_noh #AWSStartup #AWSStartup_Kansai
fillznoh
0
130
[SRE NEXT 2025] すみずみまで暖かく照らすあなたの太陽でありたい
carnappopper
2
470
How Do I Contact Jetblue Airlines® Reservation Number: Fast Support Guide
thejetblueairhelpsupport
0
150
Amplify Gen2から知るAWS CDK Toolkit Libraryの使い方/How to use the AWS CDK Toolkit Library as known from Amplify Gen2
fossamagna
1
350
CDK Toolkit Libraryにおけるテストの考え方
smt7174
1
550
Deep Security Conference 2025:生成AI時代のセキュリティ監視 /dsc2025-genai-secmon
mizutani
4
2.9k
LLM拡張解体新書/llm-extension-deep-dive
oracle4engineer
PRO
23
6.3k
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
950
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
231
18k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Music & Morning Musume
bryan
46
6.7k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Writing Fast Ruby
sferik
628
62k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Become a Pro
speakerdeck
PRO
29
5.4k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
We Have a Design System, Now What?
morganepeng
53
7.7k
Transcript
⼊⾨ ⼊⾨ 監視 しゃないのえるてぃー⽤ => 外部公開⽤に編集したもの
ࣗݾհ • ίωώτגࣜձࣾ • αʔόʔαΠυΤϯδχΞ • ओʹCakePHPͳͲ
─室長! 我々は、老害だったのかもし れませんよ! (金城 2019.01@CTO 1on1)
Part 0
ΧϯγϜζΧγΫωʁ • ʮ࠷ॳʹर͏ਓʯͱ͔ ʮຊରԠ͢Δਓʯͱ͔ͷภΓ • ͠ʮ͕ࣗશ͘Βͳ͍ػೳʯͰ ίέΒΕͨΒɺ٧Ή͔͠Εͳ͍ • શһ͕ͬͱΰϦΰϦʹ Ξϥʔτरͬͯ͘ΕͨΒͤͩΑͳʙʂ
None
ʮೖ ࢹʯ • ͪΐʙͲʮࢹʂߟ͑ͳ͚Εʂʂʯͬͯ ײ͍ͯͨ࣌͡ظʹʮདྷ݄ൃചʯɻ • ֓ཁͱ͔ಡΜͰͳ͍͚Ͳɺ λΠτϧʹऒ͔Εͨͷͱɺ༁ऀ͕৴པͰ͖ͦ ͏ͳͷͱͰδϟέങ͍ (ձ͕ࣾങͬͯ͘Εͨɺײँʙ)
PartⅠ
7ߦ·ͱΊ ※ࣾڞ༗ࡁΈͷʮಡॻϝϞʯΛࢀরʂ
PartⅠ 「⼊⾨ 監視」、どんな本? 〜fin〜
Part Ⅱ
本に書いてあることは、 すべて本に書いてあるので
本に書いてないことを 話しましょうよ!!!
☓読めばわかること ◦読んで考えさせられたこと ◦読んで感じたこと をば。
ざっと、おさらい。 • 本書のテーマともいうべきポイントを。 • すなわち、 「こう思ったッス」を話すにあたっての、 「お気に⼊りポイント」の共有です。
おさらい① • 「サービスが動いている」かを監視する。 • メトリクスは、 ユーザーにとって 「どういう挙動を引き起こしているか」を 説明できる項⽬を選定する
おさらい② • アラートは 「誰かを叩き起こす、要アクション」 なもの。 • ⇔「あとでやれば」なものは、 アラートと⾔わない。
おさらい③ • アラートは「⾒直し、育てる」もの。 • 「⾒たけどアクションしなかったもの」は、 失格!リストラ!外しましょう。
おさらい④ • 監視は「スキル」。 • 「役割」にしない!!!
(おさらいココまで)
我々の「監視」は どうだろうか・・・?
⼤反省ですよ!! • 我々の作っているのは 「アラート」ではなかったのかもしれない • 「役割」にはしていない。つもり。 が、「スキル」=「修得可能なモノ」として ⾒えていなかったかもしれない
ʔ͠Όͱࢹʙࢲͷೖࣾ࣌ʙ • ࢲͷೖ͔ࣾ࣌ΒSentryೖͬͯΔ • AWS CloudWatchઃఆ͞Ε͍ͯΔ • CTO͕શମతʹݟͯͨ -> ࢲ͕ೖ͔ࣾͯ͠Βউखʹπʔϧͷ͍ํΛ
͍֮͑ͯͬͨ
ʔ͠ΌͱࢹʙΤϯδχΞ૿Ճʙ • (αʔόʔαΠυ)ΤϯδχΞ͕૿͑Δʹ ಉ͡Α͏ͳड͚ೖΕͷྲྀΕΛ౿ऻ • SlackʹʮԿ͔͕ඈΜͰ͘ΔʯΑ͏ʹͯ͠ɺ ඈΜͰ͖ͨΒݟΔ • SentryͷIssueΛؾ͕͍ͨͱ͖ʹݟΔ
ʔ͠ΌͱࢹʙࢹͷڧԽʙ • ϨϙδτϦਓ૿͑ͨͷͰɺ ʮSlackʹ௨͕དྷͨΒԠ͠Α͏ʯ ͱ͍͏ͷΛ໌ݴͨ͠ • ͜Ε·ͰSentryͷΠϕϯτΛ͍͕ͬͯͨ ʮνʔϜશମͰҙࣝ͠Α͏ʯ ͱ͍͏Λͨ͠
_⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈_ > < > 実質的に、やり⽅変わってないじゃんね < > <  ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^ ̄
͕͜͜ʮมΘͬͯͳ͍ʯɻ • 2,3ਓͰશͯΛઃܭɾ࣮͍ͯͨ࣌͠ͷ ʮશ෦๊͖͠Ίͯʂʯܕͷࢹ • ͳΜͱͳ͘ͷඪͱͯ͠ͷ ʮΤϥʔΛݮΒͦ͏ʂʯͱ͍͏ਫ਼ਆ • ܅͕ٽ͘ͷͳΒ܅ͷྦ·Ͱา͍͍ͯ͘νʔϜ ܅͕ٽ͘·ͰԥΔͷΛΊͳ͍ঢ়گ
None
─室長! 我々は、老害(ry
現状に即し、 & これからに備えねば。
そのために 「今」の姿を分析してみる。
我(々)が⾒落としていたもの • 監視なんて誰でもできる! 俺だって教わってなかったさ!! • 不具合とかエラーなんて出すな! それがゼロなら、障害もほとんど起きねぇ!
我(々)の思い上がりを 正すべき、3つの理由
ᶃαʔϏε ʮෳࡶʯʹͳ͍ͬͯΔ • ෳࡶ͞ͱ • ߏύʔπͷଟ͞ • શମʹର͢ΔɺݸʑਓͷʮະʯྖҬͷ ͞
ᶃαʔϏε ʮෳࡶʯʹͳ͍ͬͯΔ • αʔϏε͕૿͑ͨ͠ɺେ͖͘ͳͬͨ͠ • ػೳ૿͑ͨ͠ • ΞʔΩςΫνϟมΘͬͨ͠ • ਓ૿͑ͨʂ
ͦͯ͠ɺਓͦΕͧΕʮઐԽʯ͍ͯ͠Δ͠
ᶄϝϯόʔ૿͑ͨ • োͷʮݱʯʹग़ಈ͢Δ͕֬ݮ͍ͬͯΔ • ҎલͷΑ͏ʹ “࣮ࡍʹରԠ͔ͨ͠ΒମͰ֮͑ͨ” ظͰ͖ͳ͘ͳ͍ͬͯΔ
ᶅαʔϏε͕҆ఆ͍ͯ͠Δ • ͍ɺྑ͍ΜͰɻͱͯɻ ͰɺͦΕ͕ނʹɾɾɾɾ • ʮࢹΞϯνύλʔϯʯΛ༠ൃ͞ΕΔ • ʮ͍ͭಉ͡ਓʯͰͲ͏ʹ͔ͳΔ • ʮݫ͠ʹर͓ͬͯ͜ʂʯ͕Ͱ͖ͪΌ͏
今の所、 まぁコレでOKだと思う
コレからも 同じこと⾔えるの・・・?
圧倒的に、 “⾒直し”が⾜りていないのでは。
None
Part Ⅱ 弊社監視⼤反省会 〜fin〜
Part Ⅲ
⼊⾨ 監視を読んだ感想: 我々も「⼊⾨」をしていこう。
コネヒト的 脱⽼害計画 監視⺠主化運動
ママリの「監視」の現状を 本にあった⾔葉を使ってまとめてみる 1. 「敏感」なアラートが多い • 「影響度の判断」「問題の切り分け」が 属⼈的になりがち 2. 「ユーザー観点 /
ビジネスKPI」への メトリクス結びつけが弱い • 「実際にどう影響してる?」の想像できてる? 3. ツールの使い⽅・読み⽅は、勝⼿に覚えてね! • でもさ、なんでも 「巻き込まれる」まで、学習意欲ってわかないよね
ママリの「監視」の現状を 本にあった⾔葉を使ってまとめてみる 4. 「開発者も監視に取り組む」は できている! • OSレイヤ・インフラレイヤのアラートも 「このリリース、施策が原因かな?」って 結びつけて考えてはいるよね 5.
FTSを上げる⽂化 • 少なくとも「チームの学習」に転化する意識はある
どうすれば、 良くなっていきそうか?
ʮࢹΛຽओԽ͢Δʯ • ʮαʔϏεෳࡶʹͳ͍ͬͯ͘ʯͱ͍͏લఏΛ࣋ͭ ‣ ଐਓੑ͚ͩͰཱ͔ͪ͑ͳ͘ͳΔ • ࢹΛʮγϯϓϧʯʹ͢Δ ‣ ϢʔβʔӨڹΛத৺ʹਾ͑ͯɺରԠ͖͢Λ໌֬ʹ͢Δ •
ʮ͔Γ͢͞ʯΛҭΉ ‣ ઐతͳ؍͔Βͷ૬ޓڠྗΛࢧԉ͢ΔͨΊɺ ֤ϝϯόʔ͕ಉ͡ࢹ࠲Ͱঢ়گΛಡΈऔΕΔঢ়گΛ࡞Δ
端的に問題は何なの? 1. アラートが「多い」 2. アラートが「複雑」で、それゆえに対応が「⾼度」 3. 複雑さや⾼度さに対処するための組織的なサポートがない 4. 2・3の相互的な悪循環 5.
4のために「役割」が固定されていく 6. 5のために「敏感なアラート」が増え、棚卸しが⾜りない
ママリの「監視」の未来を 思い描いてみる 1. アラートを「シンプル」にする • 「アラートじゃないもの」は別にしよう! • ソフトウェアの品質の観測は、別個の問題として向き合う 2. ユーザーストーリーに⽴脚したメトリクス
• 「この項⽬ → リアルユーザーの被る影響はこう!!」を 想像できるようにする 3. 「全員監視」のためのトレーニング • ツールやナレッジのインプット • 障害対応後の振り返り・共有の充実化
⽬指せ! 脱⽼害で、安⼼安全な世界! 監視全体のリデザインのための ロードマップを作っていますなう
2019年は “組織での”監視に、 ⼊⾨していきましょう!!