Webサービスを支えるモニタリング / web-service-monitoring

- PHPカンファレンス仙台の登壇資料です。
https://phpcon-sendai.net/2019/

- 前回の登壇内容
https://soudai.hatenablog.com/entry/2018/03/10/161136

Transcript

1. Webサービスを支えるモニタリング PHPカンファレンス仙台 2019
3. What is it? Webサービスを モニタリング=監視する
4. What is it? “監視とは、あるシステムやそのシステムの コンポーネントの振る舞いや出力を観察し チェックし続ける行為である。” 入門 監視 「はじめに」から
5. What is it? なぜ監視が必要か？
6. What is it? 1. 素早く障害に気付くため 2. 素早く原因究明を行うため 3. システムの振る舞いを予測し、 未然に障害を防ぐため 下に行くほどより精度の高い監視が必要
7. What is it? アプリケーションエンジニアが サービスを運用するために必要なこと
8. あじぇんだ 1 自己紹介 2 Webサービスを見る 3 アプリケーションを監視する 4 そーだいなる監視 5 まとめ
9. あじぇんだ 1 自己紹介 2 Webサービスを見る 3 アプリケーションを監視する 4 そーだいなる監視 5 まとめ
10. 自己紹介 曽根 壮大（34歳) 株式会社オミカレ 副社長/CTO • 日本PostgreSQLユーザ会 勉強会分科会 座長 • 3人の子供がいます • 技術的にはWeb/LL言語/RDBが好きです そ ね た け と も
11. 自己紹介 曽根 壮大（34歳) 株式会社オミカレ 副社長/CTO • 日本PostgreSQLユーザ会 勉強会分科会 座長 • 3人の子供がいます • 技術的にはWeb/LL言語/RDBが好きです そ ね た け と も
12. 婚活といえばオミカレ https://party-calendar.net/
13. あじぇんだ 1 自己紹介 2 Webサービスを見る 3 自分たちのサービスを知る 4 そーだいなる監視 5 まとめ
14. Webサービスを見る Webサービスは生き物
15. Webサービスを見る Webサービスは生き物 ↓ 常に変化している
16. Webサービスを見る Webサービスは難しい
17. Webサービスを見る Webサービスは難しい ↓ 色んな要素の影響を受ける
18. Webサービスを見る クライアント インターネット サーバサイド 通信は常に往来してる DNS BGP ISP サーバ ネットワーク アプリケーション
19. Webサービスを見る クライアント インターネット サーバサイド 通信は常に往来してる DNS BGP ISP サーバ ネットワーク アプリケーション 最もわかりやすい領域 監視でサービスの状態を知る 自分たちでコントロール出来る
20. Webサービスを見る クライアント インターネット サーバサイド 通信は常に往来してる DNS BGP ISP サーバ ネットワーク アプリケーション ユーザの体験に一番効く部分 コントロール出来るが意図しない 挙動のことも多い だからこそ監視が必要
21. Webサービスを見る クライアント インターネット サーバサイド 通信は常に往来してる DNS BGP ISP サーバ ネットワーク アプリケーション 通常はコントロールできない領域 監視することで異常に早く気付く
22. Webサービスを見る それぞれをどう監視するか
23. Webサービスを見る それぞれをどう監視するか ↓ 入門 監視に書いてある
24. Webサービスを見る 監視のアンチパターン
25. Webサービスを見る • ツール依存 • 役割としての監視 • チェックボックス監視 • 監視を支えにする • 手動設定 監視のアンチパターン 入門監視に書いてある
26. Webサービスを見る 監視のデザインパターン
27. Webサービスを見る • 組み合わせ可能な監視 • ユーザ視点での監視 • 作るのでは無く買う • 継続監視 監視のデザインパターン 入門監視に書いてある
28. Webサービスを見る ビジネスを監視する
29. Webサービスを見る • PVや訪問数 • ダウンロード数 • ユーザの利用料 • クラウド料金 …etc ビジネスを監視する 入門監視に書いてある
30. Webサービスを見る
31. Webサービスを見る • SNSでバズる • テレビやニュースで取り上げられる • バグなどで想定外の挙動をする • SEOの順位が突然変わる …etc 意図しないサービスの反応
32. Webサービスを見る サービスの変化と システムの変化は相関
33. Webサービスを見る サービスを最も知っている人
34. Webサービスを見る サービスを最も知っている人 ↓ 作ってる人
35. Webサービスを見る だからエンジニアが サービスを見る=監視する
36. あじぇんだ 1 自己紹介 2 Webサービスを見る 3 アプリケーションを監視する 4 そーだいなる監視 5 まとめ
37. アプリケーションを監視する どこから始めればいいの？
38. アプリケーションを監視する どこから始めればいいの？ ↓ 大事なところから始めましょう
39. アプリケーションを監視する サービスが稼働している
40. アプリケーションを監視する サービスが稼働している ↓ 200を返している
41. アプリケーションを監視する サービスが稼働している ↓ 200を返している 外形監視はシンプルで始めやすい
42. アプリケーションを監視する サーバ or SaaS 定期的にリクエストする
43. アプリケーションを監視する • インターネット越しにcurlを叩く • GASからサイトをリクエストする • 外形監視出来るSaaSを使う …etc 外形監視の方法
44. アプリケーションを監視する モニタリング用の エンドポイントを作る
45. アプリケーションを監視する サーバ or SaaS { “user” : 1000, “party”: 30000, “request”: 40000, “images”: 3500, “reserve”: { “man”: 300, “woman”: 200 } } 監視したい内容を出力する エンドポイントを作る 記録してグラフにする
46. SaaSに任せる
47. REST API の監視 えいのうにっき Mackerel の CRE だけど、何か質問ある？ 〜 回答編 https://blog.a-know.me/entry/2018/12/21/102752
48. アプリケーションを監視する アプリケーションに 監視の穴を作る
49. アプリケーションを監視する • レンタルサーバーでも出来る • アプリケーション側で出来る • SaaSと組み合せれば、すぐ出来る • シナリオテストのようにシステム を総括して見れる エンドポイントを作る
50. アプリケーションを監視する 自分で作るメトリック
51. アプリケーションを監視する 自分で作るメトリック ↓ 自分が理解できる
52. アプリケーションを監視する 監視を育てる
53. あじぇんだ 1 自己紹介 2 Webサービスを見る 3 アプリケーションを監視する 4 そーだいなる監視 5 まとめ
54. そーだいなる監視 実際にやってることの例
56. そーだいなる監視 https://employment.en-japan.com/engineerhub/entry/2018/12/11/110000
57. そーだいなる監視 https://employment.en-japan.com/engineerhub/entry/2018/12/11/110000
58. そーだいなる監視 時々データの不整合あるッス！ データの登録時のエラーを監視しよう
59. そーだいなる監視 https://employment.en-japan.com/engineerhub/entry/2018/12/11/110000 ここを監視する
60. そーだいなる監視 RDSのログを PHP経由で定期的にチェックする
61. そーだいなる監視 1. AWS SDK for PHPで downloadDBLogFilePortion関数を実行 2. Errorなどの特定のキーワードを拾ってalert 3. Mackerelのチェック監視の仕組みで通知
62. そーだいなる監視 AWS php mackerel-agent Slack ① SDKを実行 ② ログを取得 ③ ログを確認 ④Mackerel経由で通知 Mackerel-agentが定期的に実行する
63. 詳しくはこちらの資料 https://speakerdeck.com/takahashiikki/postgresqljapan2018
64. そーだいなる監視 Apacheが時々固まるッス！ Apacheの状態を見て、ハングしたら 自動で再起動させよう
65. そーだいなる監視 自動復旧を試みる
66. https://gist.github.com/soudai/85e437749c578e2e206670f961ed7279
67. そーだいなる監視 OS php mackerel-agent Apache ① コマンド実行 ② 結果を取得 ③ 閾値を超えた ④再起動 Mackerel-agentが定期的に実行する
68. そーだいなる監視 もちろんベストではないけど 深夜に起きる必要はなくなった
69. そーだいなる監視 抜本的な解決には もちろん継続的な監視が必要
70. そーだいなる監視 夜間バッチが時々詰まるッス！ ルーク、 SHOW ENGINE INNODB STATUS を使え
71. そーだいなる監視 実際は人が SHOW ENGINE INNODB STATUS 生で読むのは難しい
72. そーだいなる監視 CloudWatchの値を使う
74. そーだいなる監視 更新/削除が詰まってた ↓ MySQLのギャップロックで 待ち時間が発生
75. そーだいなる監視 Batchの処理と TV特集が被る
77. そーだいなる監視 継続的にメトリックを取っていた
78. そーだいなる監視 継続的にメトリックを取っていた ↓ 原因究明ができた
79. そーだいなる監視 自分たちが知りたい問題を 監視する
80. あじぇんだ 1 自己紹介 2 Webサービスを見る 3 アプリケーションを監視する 4 そーだいなる監視 5 まとめ
81. まとめ
82. まとめ 入門 監視を読む
84. まとめ ダイエットは体重計に乗るし、 健康診断では血圧を測る Webサービスも同じ
85. まとめ エンジニアには根拠が必要
86. まとめ エンジニアには根拠が必要 ↓ 根拠は技術で用意できる
87. まとめ テストはコードの品質の可視化 モニタリングはサービスの品質の可視化
88. まとめ 体重計に乗るだけでは痩せない
89. まとめ 体重計に乗るだけでは痩せない ↓ 可視化しただけでは品質は改善されない
90. まとめ イチローのバットを使っても イチローにはなれない
91. まとめ 自分たちが 改善のサイクルを回していく
92. “アプリケーションの監視は、 いわゆるインフラエンジニアより、 アプリケーションを一番理解している人が 監視を一番良くできる” おそらくはそれさえも平凡な日々 Songmu http://www.songmu.jp/riji/entry/2019-01-07-practical-monitoring.html まとめ
93. まとめ 自分たちの手でサービスを育てていく
94. ご清聴ありがとうございました