KTCにおけるO11yの整備と課題

2024/4/11にFindyさん主催の「TechBrew in 東京〜オブザーバビリティのベストプラクティス〜」でお話した内容

https://findy.connpass.com/event/312930/

Transcript

1. KTCにおけるO11yの整備と課題 2024/4/11 TechBrew In Tokyo KintoTechnologiesCorporation PlatformGroup PlatformEngneeringTeam Jumpei Shimamura
2. ©KINTO Corporation. All rights reserved. 2 プロフィール Personal-definition.yml PersonalConfiguration: - name: “Shimamura Jumpei” company: “KINTO Technologies Corporation.(KTC)” x(twitter): “@sokasanan” role: - “PlatformEngneering” - “DevOps” favorite: - “GitHub Actions” - “OpenTelemetry” CareerHistory - “Transportation Companiy’s SystemSubsidiary” - “Infrastructure(On-premise) Engneer” - “KINTO Corp > KINTO Technologies Corp” essential: false ulimits: - name: “OperationTime” softLimit: 160 hardLimit: 200
3. ©KINTO Corporation. All rights reserved. 3 Index 1 よくあるとToolの遷移 2 KTCのObservabilityToolの整備 3 目次 3 KTCで抱えてるO11yの課題 4 まとめ
4. ©KINTO Corporation. All rights reserved. 4 よくあるToolの遷移 1
5. ©KINTO Corporation. All rights reserved. 5 最初 よくある(と思う)Toolの遷移(変化) SaaSを使ってObserverbilityの実装と運用 ・初期なのでPlatformのメンバーが少ない ・SaaSなのでダッシュボードとかが準備されている ・技術スタックなどの制限は少ない ・サポートが手厚い ・基本的に自動計装で導入が容易 開発者の負担が少なく開発に集中
6. ©KINTO Corporation. All rights reserved. 6 よくある(と思う)Toolの遷移(変化) プロダクトや会社が大きくなったら OSSやマネジメントサービスによる内製化 ・人が増えてできることが増えたので内製 ・プロダクトが大きくなってデータ量が増えたので内製 ・SaaSに比べて価格は比較的抑えられる ・ダッシュボードとかはプロダクト特性に合わせる ・対応範囲は運用するチーム次第 ・ツールの組み合わせによる運用 導入・使用に開発者の負担が大きい
7. ©KINTO Corporation. All rights reserved. 7 KTCのObservabilityToolの整備 ２
8. ©KINTO Corporation. All rights reserved. 8 最初~最近まで CloudWatch Logs Alerm Logs Alerm Amazon Grafana Amazon Prometheus AWS Distro OpenTelemetry CloudWatch X-Ray Alerm AWS Distro OpenTelemetry CloudWatch X-Ray Amazon OpenSearch Amazon Grafana Amazon Prometheus ・APM構築・提供 ・Tracing提供 ※X-ray daemon使用 ・LogPlatform(OpenSearch)構築・提供 ・Tracing改善 ※OpenTelemetry化 最初からマネージド中心でがんばっていた
9. ©KINTO Corporation. All rights reserved. 9 Tool構成 AWS Cloud ap-northeast-1 eu-central-1 CloudWatch TASK ECS(Fargate) App Collector LogRouter X-Ray Prometheus OpenSearch TASK ECS(Fargate) App Collector X-Ray Prometheus CloudWatch Grafana S3
10. ©KINTO Corporation. All rights reserved. 10 現在 Alerm AWS Distro OpenTelemetry CloudWatch X-Ray Amazon OpenSearch Amazon Grafana Amazon Prometheus New Relicが生えました
11. ©KINTO Corporation. All rights reserved. 11 ちょっと先 Alerm AWS Distro OpenTelemetry CloudWatch X-Ray Amazon OpenSearch Amazon Grafana Amazon Prometheus AWS Cloudwatch ApplicationSignalsの導入 LogPlatformの刷新 Signals ？
12. ©KINTO Corporation. All rights reserved. 12 KTCで抱えてるO11yの課題 3
13. ©KINTO Corporation. All rights reserved. 13 課題 できることは多いけど、使うまでが大変 User Config Deploy Setting Alert Visualize Logs Metrics Trace 設定の標準化・手順化を実施はしている
14. ©KINTO Corporation. All rights reserved. 14 SaaSだと User Config Deploy Setting Alert Visualize Logs Metrics Trace SUPPORT
15. ©KINTO Corporation. All rights reserved. 15 課題 LogとTraceとMetricsを紐づけづらい X-Ray Amazon OpenSearch Amazon Grafana User User User DataSourceとして OpenSearch/X-Rayを設定して 閲覧はできる
16. ©KINTO Corporation. All rights reserved. 16 User
17. ©KINTO Corporation. All rights reserved. 17 課題 うち、プロダクトに採用されてる技術スタック多くない？ サポート範囲を限定せざるを得ない。あとはプロダクト側で吸収 標準仕様があれば、回避しやすいけど、プロダクト特性などもあるので制限は痛し痒し
18. ©KINTO Corporation. All rights reserved. 18 課題 運用要件上、ここまでのTOOLは要らない 社内ツールとか コンテンツだけのものとか 開発者にかかるコストを考えて、Tool管理者に負担にならない範囲でレベル分け
19. ©KINTO Corporation. All rights reserved. 19 けっきょくのところ ・容易に導入できるSaaS ・スコープを小さくして費用をお手軽にする内製 最初の一歩は できるところからやるでいいと思います、個人的に 作って改善していくクラウド環境でも、見直しは必要
20. ©KINTO Corporation. All rights reserved. 20 けっきょくのところ 人が増えないと で殴る方法に行かざるを得ない
21. ©KINTO Corporation. All rights reserved. 21 まとめ 4
22. ©KINTO Corporation. All rights reserved. 22 まとめ ObserverbilityToolの内製は 人と規模のバランスが必要 プロダクト・データが増えても、Platformのメンバーが足りないなら SaaSを使うことは悪いことではないと思う やれるところから、取り込んで可視化して増やしていきましょう 新規ツールとかSaaS導入はドッグフーディングしてくれる仲間大切
23. ©KINTO Corporation. All rights reserved. 23 まとめ エンドユーザは開発/運用者なので 求められているものを把握して用意する PlatformEngneeringの考え方 リッチすぎてもプアすぎても良くはなく使われない 新規ツールとかSaaS導入はドッグフーディングしてくれる仲間大切
24. Thank you !
25. ©KINTO Corporation. All rights reserved. 26 We are hiring!! https://www.kinto-technologies.com/recruit/job/ PlatformやTool系を作ったり整備したり展開したり 色々とやれる(やる)ことは多いので、興味がある方、おまちしてます