Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
入門 入門 監視 / reading-practical-monitoring
Search
hideki kinjyo
PRO
February 01, 2019
Technology
15
12k
入門 入門 監視 / reading-practical-monitoring
「入門 監視」を読んだので、自分たちのチームに当てはめて考えてみる
hideki kinjyo
PRO
February 01, 2019
Tweet
Share
More Decks by hideki kinjyo
See All by hideki kinjyo
もう少しテストを書きたいんじゃ〜 #phpstudy
o0h
PRO
17
3.9k
『テスト書いた方が開発が早いじゃん』を解き明かす #phpcon_nagoya
o0h
PRO
8
2.4k
色んなオートローダーを覗き見る #phpcon_okinawa
o0h
PRO
5
570
ヒューマンエラーの本を読んだ ~報告会~
o0h
PRO
3
290
みんなでワイワイ「テスト駆動開発」の話をやる会 #techramen24conf
o0h
PRO
4
570
SPLから始める「データ構造」入門
o0h
PRO
7
1.9k
PHPUnit11の新しい仲間たち
o0h
PRO
3
420
単体テストを書かない技術 #phpcon_odawara
o0h
PRO
62
21k
パンフ記事 「初めてのリファクタリング!」 の裏側 #phperkaigi
o0h
PRO
2
180
Other Decks in Technology
See All in Technology
偏光画像処理ライブラリを作った話
elerac
1
170
依存パッケージの更新はコツコツが勝つコツ! / phpcon_nagoya2025
blue_goheimochi
3
210
内製化を加速させるlaC活用術
nrinetcom
PRO
2
140
システム・ML活用を広げるdbtのデータモデリング / Expanding System & ML Use with dbt Modeling
i125
1
320
技術スタックだけじゃない、業務ドメイン知識のオンボーディングも同じくらいの量が必要な話
niftycorp
PRO
0
100
Iceberg Meetup Japan #1 : Iceberg and Databricks
databricksjapan
0
330
MIMEと文字コードの闇
hirachan
2
1.4k
Potential EM 制度を始めた理由、そして2年後にやめた理由 - EMConf JP 2025
hoyo
2
2.6k
ExaDB-XSで利用されているExadata Exascaleについて
oracle4engineer
PRO
3
240
EDRの検知の仕組みと検知回避について
chayakonanaika
11
4.8k
設計を積み重ねてシステムを刷新する
sansantech
PRO
0
160
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
14
4.9k
Featured
See All Featured
A Philosophy of Restraint
colly
203
16k
Practical Orchestrator
shlominoach
186
10k
Visualization
eitanlees
146
15k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Mobile First: as difficult as doing things right
swwweet
223
9.4k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Building Your Own Lightsaber
phodgson
104
6.2k
Git: the NoSQL Database
bkeepers
PRO
427
65k
Automating Front-end Workflow
addyosmani
1368
200k
It's Worth the Effort
3n
184
28k
Transcript
⼊⾨ ⼊⾨ 監視 しゃないのえるてぃー⽤ => 外部公開⽤に編集したもの
ࣗݾհ • ίωώτגࣜձࣾ • αʔόʔαΠυΤϯδχΞ • ओʹCakePHPͳͲ
─室長! 我々は、老害だったのかもし れませんよ! (金城 2019.01@CTO 1on1)
Part 0
ΧϯγϜζΧγΫωʁ • ʮ࠷ॳʹर͏ਓʯͱ͔ ʮຊରԠ͢Δਓʯͱ͔ͷภΓ • ͠ʮ͕ࣗશ͘Βͳ͍ػೳʯͰ ίέΒΕͨΒɺ٧Ή͔͠Εͳ͍ • શһ͕ͬͱΰϦΰϦʹ Ξϥʔτरͬͯ͘ΕͨΒͤͩΑͳʙʂ
None
ʮೖ ࢹʯ • ͪΐʙͲʮࢹʂߟ͑ͳ͚Εʂʂʯͬͯ ײ͍ͯͨ࣌͡ظʹʮདྷ݄ൃചʯɻ • ֓ཁͱ͔ಡΜͰͳ͍͚Ͳɺ λΠτϧʹऒ͔Εͨͷͱɺ༁ऀ͕৴པͰ͖ͦ ͏ͳͷͱͰδϟέങ͍ (ձ͕ࣾങͬͯ͘Εͨɺײँʙ)
PartⅠ
7ߦ·ͱΊ ※ࣾڞ༗ࡁΈͷʮಡॻϝϞʯΛࢀরʂ
PartⅠ 「⼊⾨ 監視」、どんな本? 〜fin〜
Part Ⅱ
本に書いてあることは、 すべて本に書いてあるので
本に書いてないことを 話しましょうよ!!!
☓読めばわかること ◦読んで考えさせられたこと ◦読んで感じたこと をば。
ざっと、おさらい。 • 本書のテーマともいうべきポイントを。 • すなわち、 「こう思ったッス」を話すにあたっての、 「お気に⼊りポイント」の共有です。
おさらい① • 「サービスが動いている」かを監視する。 • メトリクスは、 ユーザーにとって 「どういう挙動を引き起こしているか」を 説明できる項⽬を選定する
おさらい② • アラートは 「誰かを叩き起こす、要アクション」 なもの。 • ⇔「あとでやれば」なものは、 アラートと⾔わない。
おさらい③ • アラートは「⾒直し、育てる」もの。 • 「⾒たけどアクションしなかったもの」は、 失格!リストラ!外しましょう。
おさらい④ • 監視は「スキル」。 • 「役割」にしない!!!
(おさらいココまで)
我々の「監視」は どうだろうか・・・?
⼤反省ですよ!! • 我々の作っているのは 「アラート」ではなかったのかもしれない • 「役割」にはしていない。つもり。 が、「スキル」=「修得可能なモノ」として ⾒えていなかったかもしれない
ʔ͠Όͱࢹʙࢲͷೖࣾ࣌ʙ • ࢲͷೖ͔ࣾ࣌ΒSentryೖͬͯΔ • AWS CloudWatchઃఆ͞Ε͍ͯΔ • CTO͕શମతʹݟͯͨ -> ࢲ͕ೖ͔ࣾͯ͠Βউखʹπʔϧͷ͍ํΛ
͍֮͑ͯͬͨ
ʔ͠ΌͱࢹʙΤϯδχΞ૿Ճʙ • (αʔόʔαΠυ)ΤϯδχΞ͕૿͑Δʹ ಉ͡Α͏ͳड͚ೖΕͷྲྀΕΛ౿ऻ • SlackʹʮԿ͔͕ඈΜͰ͘ΔʯΑ͏ʹͯ͠ɺ ඈΜͰ͖ͨΒݟΔ • SentryͷIssueΛؾ͕͍ͨͱ͖ʹݟΔ
ʔ͠ΌͱࢹʙࢹͷڧԽʙ • ϨϙδτϦਓ૿͑ͨͷͰɺ ʮSlackʹ௨͕དྷͨΒԠ͠Α͏ʯ ͱ͍͏ͷΛ໌ݴͨ͠ • ͜Ε·ͰSentryͷΠϕϯτΛ͍͕ͬͯͨ ʮνʔϜશମͰҙࣝ͠Α͏ʯ ͱ͍͏Λͨ͠
_⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈_ > < > 実質的に、やり⽅変わってないじゃんね < > <  ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^ ̄
͕͜͜ʮมΘͬͯͳ͍ʯɻ • 2,3ਓͰશͯΛઃܭɾ࣮͍ͯͨ࣌͠ͷ ʮશ෦๊͖͠Ίͯʂʯܕͷࢹ • ͳΜͱͳ͘ͷඪͱͯ͠ͷ ʮΤϥʔΛݮΒͦ͏ʂʯͱ͍͏ਫ਼ਆ • ܅͕ٽ͘ͷͳΒ܅ͷྦ·Ͱา͍͍ͯ͘νʔϜ ܅͕ٽ͘·ͰԥΔͷΛΊͳ͍ঢ়گ
None
─室長! 我々は、老害(ry
現状に即し、 & これからに備えねば。
そのために 「今」の姿を分析してみる。
我(々)が⾒落としていたもの • 監視なんて誰でもできる! 俺だって教わってなかったさ!! • 不具合とかエラーなんて出すな! それがゼロなら、障害もほとんど起きねぇ!
我(々)の思い上がりを 正すべき、3つの理由
ᶃαʔϏε ʮෳࡶʯʹͳ͍ͬͯΔ • ෳࡶ͞ͱ • ߏύʔπͷଟ͞ • શମʹର͢ΔɺݸʑਓͷʮະʯྖҬͷ ͞
ᶃαʔϏε ʮෳࡶʯʹͳ͍ͬͯΔ • αʔϏε͕૿͑ͨ͠ɺେ͖͘ͳͬͨ͠ • ػೳ૿͑ͨ͠ • ΞʔΩςΫνϟมΘͬͨ͠ • ਓ૿͑ͨʂ
ͦͯ͠ɺਓͦΕͧΕʮઐԽʯ͍ͯ͠Δ͠
ᶄϝϯόʔ૿͑ͨ • োͷʮݱʯʹग़ಈ͢Δ͕֬ݮ͍ͬͯΔ • ҎલͷΑ͏ʹ “࣮ࡍʹରԠ͔ͨ͠ΒମͰ֮͑ͨ” ظͰ͖ͳ͘ͳ͍ͬͯΔ
ᶅαʔϏε͕҆ఆ͍ͯ͠Δ • ͍ɺྑ͍ΜͰɻͱͯɻ ͰɺͦΕ͕ނʹɾɾɾɾ • ʮࢹΞϯνύλʔϯʯΛ༠ൃ͞ΕΔ • ʮ͍ͭಉ͡ਓʯͰͲ͏ʹ͔ͳΔ • ʮݫ͠ʹर͓ͬͯ͜ʂʯ͕Ͱ͖ͪΌ͏
今の所、 まぁコレでOKだと思う
コレからも 同じこと⾔えるの・・・?
圧倒的に、 “⾒直し”が⾜りていないのでは。
None
Part Ⅱ 弊社監視⼤反省会 〜fin〜
Part Ⅲ
⼊⾨ 監視を読んだ感想: 我々も「⼊⾨」をしていこう。
コネヒト的 脱⽼害計画 監視⺠主化運動
ママリの「監視」の現状を 本にあった⾔葉を使ってまとめてみる 1. 「敏感」なアラートが多い • 「影響度の判断」「問題の切り分け」が 属⼈的になりがち 2. 「ユーザー観点 /
ビジネスKPI」への メトリクス結びつけが弱い • 「実際にどう影響してる?」の想像できてる? 3. ツールの使い⽅・読み⽅は、勝⼿に覚えてね! • でもさ、なんでも 「巻き込まれる」まで、学習意欲ってわかないよね
ママリの「監視」の現状を 本にあった⾔葉を使ってまとめてみる 4. 「開発者も監視に取り組む」は できている! • OSレイヤ・インフラレイヤのアラートも 「このリリース、施策が原因かな?」って 結びつけて考えてはいるよね 5.
FTSを上げる⽂化 • 少なくとも「チームの学習」に転化する意識はある
どうすれば、 良くなっていきそうか?
ʮࢹΛຽओԽ͢Δʯ • ʮαʔϏεෳࡶʹͳ͍ͬͯ͘ʯͱ͍͏લఏΛ࣋ͭ ‣ ଐਓੑ͚ͩͰཱ͔ͪ͑ͳ͘ͳΔ • ࢹΛʮγϯϓϧʯʹ͢Δ ‣ ϢʔβʔӨڹΛத৺ʹਾ͑ͯɺରԠ͖͢Λ໌֬ʹ͢Δ •
ʮ͔Γ͢͞ʯΛҭΉ ‣ ઐతͳ؍͔Βͷ૬ޓڠྗΛࢧԉ͢ΔͨΊɺ ֤ϝϯόʔ͕ಉ͡ࢹ࠲Ͱঢ়گΛಡΈऔΕΔঢ়گΛ࡞Δ
端的に問題は何なの? 1. アラートが「多い」 2. アラートが「複雑」で、それゆえに対応が「⾼度」 3. 複雑さや⾼度さに対処するための組織的なサポートがない 4. 2・3の相互的な悪循環 5.
4のために「役割」が固定されていく 6. 5のために「敏感なアラート」が増え、棚卸しが⾜りない
ママリの「監視」の未来を 思い描いてみる 1. アラートを「シンプル」にする • 「アラートじゃないもの」は別にしよう! • ソフトウェアの品質の観測は、別個の問題として向き合う 2. ユーザーストーリーに⽴脚したメトリクス
• 「この項⽬ → リアルユーザーの被る影響はこう!!」を 想像できるようにする 3. 「全員監視」のためのトレーニング • ツールやナレッジのインプット • 障害対応後の振り返り・共有の充実化
⽬指せ! 脱⽼害で、安⼼安全な世界! 監視全体のリデザインのための ロードマップを作っていますなう
2019年は “組織での”監視に、 ⼊⾨していきましょう!!