今学生に伝えたい，監視の話 / okinawa_ac_lt

Slide 1

Slide 1 text

今学生に伝えたい，監視の話沖縄学生×企業エンジニア 7月大LT大会!!! id:cohalz

Slide 2

Slide 2 text

自己紹介・id:cohalz / @cohalz ・はてなインターン2017 Mackerelチーム・株式会社はてな SRE (2018 ~)

Slide 3

Slide 3 text

監視って？・サーバ上の様々なメトリックを元にアラート通知を飛ばす　・ CPU使用率や残り容量など

Slide 4

Slide 4 text

監視って？・そのメトリックを保存して，グラフにして見る

Slide 5

Slide 5 text

なぜ監視の話？

Slide 6

Slide 6 text

今監視が大ブーム!

Slide 7

Slide 7 text

覚えて帰ってほしいこと・監視ってそんなに難しくない・開発者も監視をしてみよう

Slide 8

Slide 8 text

何を監視すればいいか？

Slide 9

Slide 9 text

何を監視すればいいか？・「起きてほしくないこと」・例: Webアプリケーション　・500エラーを返す　・レスポンス時間の悪化　・証明書の期限切れ

Slide 10

Slide 10 text

まずはサービスに近いところから・大事なのはサービスが動いているか・個別のサーバのCPUやメモリでアラートを設定しない　・アラートが飛びがちになる　・代わりにグラフで傾向を見よう

Slide 11

Slide 11 text

なんでもアラートを飛ばせばいいものでもない・たくさんのアラートが飛んでくると？　・「アラート疲れ」　・「オオカミ少年アラート」・サービス品質をよく考えて設計する

Slide 12

Slide 12 text

アラートが役立つ他の例・バッチの実行　・失敗内容をアラートに含める・システムのマイグレーション　・古いホストに接続してたらアラート　・安全にホストを落とせる

Slide 13

Slide 13 text

アラート設計の話

Slide 14

Slide 14 text

昔のアラート対応・インフラエンジニアもしくはSREがアラートを設計　・対応するのも同じ人・同じ言語・フレームワークなので対応方法が決まっていた

Slide 15

Slide 15 text

最近のアラート対応・サービスが複雑になってきた　・言語やフレームワークもバラバラ　・一次対応だけでは済まないことも・サービス開発者が対応しないといけない　・原因はアプリケーション自体にあることが多い

Slide 16

Slide 16 text

例: Webアプリケーションが見れなくなった・MySQLのコネクション数が跳ね上がっていた　・接続数上限のため調査のために繋ぐこともできない!! 　・一次対応として再起動をした

Slide 17

Slide 17 text

例: Webアプリケーションが見れなくなった・MySQLのコネクション数が跳ね上がっていた　・接続数上限のため調査のために繋ぐこともできない!! 　・一次対応として再起動をした・実はアプリケーション側から接続を切っていなかった!! 　・開発者にアプリケーションのコードを直してもらった

Slide 18

Slide 18 text

開発者も監視に関わるべき・サービスの実装を一番良くわかっている　・実装時に懸念点があればそこを監視すればいい・開発者がアラートを受け取る　・根本的解決が早くなるかも

Slide 19

Slide 19 text

コンテナ化と言語と監視・どの言語・フレームワークを使ってるか把握しにくくなる　・サービスから見た最小単位がコンテナになる・とはいえ特有の監視をしなくていい理由にはならない　・開発者が関わるべき

Slide 20

Slide 20 text

監視の目的

Slide 21

Slide 21 text

起きてほしくないことが，起こっていないを保証する

Slide 22

Slide 22 text

テストに似てる

Slide 23

Slide 23 text

テストは皆さん書いてますよね？

Slide 24

Slide 24 text

対象が違うだけで目的は同じ・テストはソフトウェアだが，監視はシステムを見る http://developer.cybozu.co.jp/archives/kazuho/2010/01/cronlog-52f2.html

Slide 25

Slide 25 text

監視プラグイン・プログラムを書いて対象の数字を出力するだけ　・ヘルパプラグインがあるので意外と簡単・既にいろんな人が作っていて，コードの参考にもなる

Slide 26

Slide 26 text

監視プラグイン・欲しいプラグインはすでに誰かが作っているかも？・欲しい機能がなかったらOSSのPR作成チャンス！

Slide 27

Slide 27 text

監視以外のいろいろ

Slide 28

Slide 28 text

監視も万能ではない苦手なもの・数値にならないもの・統計・解析・1リクエストの詳細

Slide 29

Slide 29 text

監視以外のあれこれ・ログ・APM (Application Performance Management) 　・分散トレーシング

Slide 30

Slide 30 text

監視以外のあれこれ・ログ・APM (Application Performance Management) 　・分散トレーシング => サービスの見える化

Slide 31

Slide 31 text

「推測するな，計測せよ」

Slide 32

Slide 32 text

まとめ・不安を安心に変えるために監視をする　・テストと同じ　・でもアラートはよく考えよう・開発者も監視をしてみよう　・サービスに一番詳しいのは開発者

Slide 33

Slide 33 text

あわせて読みたい・入門監視　・監視についてのアンチパターンなど詳しく載っている本・監視入門 ~ マイクロサービス時代の監視設計　・https://junkyard.song.mu/slides/rancher-meetup-tokyo-18 　・マイクロサービスに限らない，開発者に向けた現在の監視の話