MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Exporter × Kubernetesを使って自動化する / Automate data size aggregation for each MySQL table using Datadog, Prometheus Exporter and Kubernetes

2024/1/19 成長を続けるfreeeとマネーフォワードはサービスの信頼性をどう担保しているのか？
https://freee.connpass.com/event/304624/

Transcript

2. - 人事労務SaaSのSRE - SRE NEXT 2022 「一人から始めるプロダクトSRE」 - Developers boost 2023 ベストスピーカー賞 - 同人・商業で作家活動 etc… 趣味は🍺と󰏶🍛とSAUNAです （🍺もSAUNAも資格有） 気になったら懇親会で…！ • Money Forward, Inc 2021~ 
 • SREチームの立ち上げ & Lead 
 • 現在はIndividual Contributorに 

3. SNSハッシュタグ #sre_fxm
4. 信頼性って言われすぎて 段々よくわからなくなってくることない？ #sre_fxm
5. 信頼できるサービス = ？ #sre_fxm
6. 信頼できるサービスの特徴 3選 ユーザは利用目的を 達成できる 安心して 利用できる どんどん 進化する さまざまなメトリクスを使って 我々は日々モニタリングして守っている #sre_fxm
7. お金を生み出しているシステムが 常に健全であることは ビジネス的にも価値がある #sre_fxm
8. マネーフォワード クラウド給与は 9年 目 #sre_fxm
9. 常に約10年後を考えて システム開発している人 ✋ #sre_fxm
10. 10年後どうなっているか予想できない #sre_fxm
11. しかし、想定せずに 運用するフェーズではなくなる瞬間がくる #sre_fxm
12. 信頼できるサービスの特徴 3選 ユーザは利用目的を 達成できる 安心して 利用できる どんどん 進化する 成長とともに重要視する メトリクスは変わる #sre_fxm
13. 着実にユーザとデータ量が増えた先 #sre_fxm
14. 運用作業限界への恐怖 #sre_fxm
15. "テーブルサイズ限界"のXデー #sre_fxm
16. Amazon Aurora 1AWS公式によると128TiBのサイ ズをサポートしている *1 MySQL 8.0のInstant DDLを使 えばある程度の規模までは運用に 問題がない *1 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/Aurora.Overview.StorageReliability.html #sre_fxm
17. 弊チームトップエンジニアよる 検証により 限界サイズしきい値が判明する #sre_fxm
18. もともとSREチームではDBのサイズ推移を （思い出したときに） SQLで取ってGSSで分析していた メトリクス化して 継続的にモニタリングしよう （タイトル回収） #sre_fxm
19. MySQLテーブル毎のデータサイズ集計を Datadog × Prometheus Exporter × Kubernetes を使って自動化する #sre_fxm
20. Overview #sre_fxm
21. 1. k8s manifest 2. MySQL settings 3. Datadog Dashboard view #sre_fxm
22. k8s Manifest 公式はDockerでの使用方法のみ k8s用にごにょごにょする #sre_fxm
23. k8s Manifest - annotation Datadogでopenmetricsを使う 部分 init_config: {}を書き忘れて ハマった #sre_fxm
24. MySQL settings UserとGRANTが必要 information_schemaを取得できる最低限のもの - PROCESS - SELECT #sre_fxm
25. MySQL settings Q. すべてのテーブルに対してGRANTする必要がある？ A. 「ユーザが適切なアクセス権限を持っているオブジェクトに対するテーブル行 だけ見れる」ということなので、付与しないと取得できない https://dev.mysql.com/doc/refman/5.7/en/information-schema-introduction.html#information-schema-privileges #sre_fxm
26. Datadog Dashboard view メトリクスとして取得さえできれば Dashboardであらゆる形式にして 表示できる しきい値Alertも可能に！ #sre_fxm
27. Toil 解消！ #sre_fxm
28. 急成長サービスには地道な取り組みがつきもの 1. きたるべき未来に備えるためにモニタリングが必要だった 2. 手動で情報を取りに行っていた 3. しきい値が明確になったので自動化に踏み切った #sre_fxm
29. ご清聴 ありがとうございました