20210914_topgate_lt_suzuki

Transcript

1. 死活監視を自前で 頑張って実装した話 2021/09/14 鈴木 崇史 Copyright ©︎ 2021 by Future Corporation
2. Copyright ©︎ 2021 by Future Corporation 自己紹介 鈴木崇史（すずきたかふみ） • 2020 10月新卒入社 • 入社初案件からずっとGCPを触っています
3. Copyright ©︎ 2021 by Future Corporation GCEの死活監視がしたい • 開発用に多くのチームで共通に使われ ているVM • 障害の影響が大きいので、死活監視を したい • 踏み台/作業用サーバ • セキュリティ要件で外部IP を持たない
4. Copyright ©︎ 2021 by Future Corporation Cloud Monitoring のUptimeチェックを使おう！ • HTTP、HTTPS、TCP:任意のポート に リクエストを送って死活監視して くれる • アラートポリシー・通知チャンネルも 設定できる
5. Copyright ©︎ 2021 by Future Corporation しかし
6. Copyright ©︎ 2021 by Future Corporation
7. Copyright ©︎ 2021 by Future Corporation 無理でした 外部IPを持たない
8. Copyright ©︎ 2021 by Future Corporation マネージドサービスが無い、どうしよう…
9. Copyright ©︎ 2021 by Future Corporation Cloud Functionで外形監視をしてみた • IP:PortにTCPリクエストを 送るCloud Function • 内部IPにアクセスする →サーバーレス VPC アクセスコネクタを経由
10. Copyright ©︎ 2021 by Future Corporation Cloud Functionで外形監視をしてみた Private IPへアクセス • IP:PortにTCPリクエストを 送るCloud Function • 内部IPにアクセスする →サーバーレス VPC アクセスコネクタを経由
11. Copyright ©︎ 2021 by Future Corporation Cloud Functionで外形監視をしてみた 定期実行 (1minごと) • IP:PortにTCPリクエストを 送るCloud Function • 内部IPにアクセスする →サーバーレス VPC アクセスコネクタを経由
12. Copyright ©︎ 2021 by Future Corporation 何を基準にしてアラートを上げる？
13. Copyright ©︎ 2021 by Future Corporation 何を基準にしてアラートを上げる？ →ログメトリクスを作ってモニタリング
14. Copyright ©︎ 2021 by Future Corporation アクセス成功/失敗ログ
15. Copyright ©︎ 2021 by Future Corporation ログメトリクスを作成 Cloud Monitoringから取得できる
16. Copyright ©︎ 2021 by Future Corporation モニタリングするメトリクスは作った！ あとはアラートポリシーを作ればOK
17. Copyright ©︎ 2021 by Future Corporation T分 VMにアクセスできなかったらアラート • 失敗ログ観測→即アラート！ではなく、 • アラート誤発報がないように余裕を持たせたかった
18. Copyright ©︎ 2021 by Future Corporation アラート条件の設定に格闘 「Aggregatorは何がいいの？sum?」 「1分ごとにログメトリクスが取れるから、Periodは何分？」 「あれ、じゃあ閾値は…？Forて何？」
19. Copyright ©︎ 2021 by Future Corporation アラート条件の設定に格闘 「え、閾値上回ってるのに、インシデントが上がらない。 設定間違えたかな…」
20. Copyright ©︎ 2021 by Future Corporation
21. Copyright ©︎ 2021 by Future Corporation ちょっと待ったらちゃんとインシデント上がりました
22. Copyright ©︎ 2021 by Future Corporation 何とか死活監視の仕組み完成 アラート
23. Copyright ©︎ 2021 by Future Corporation 頑張ってる間にログアラート機能実装されてました
24. Copyright ©︎ 2021 by Future Corporation Thank you for listening!