Grafana Cloudとソラカメ

Transcript

1. Grafana Cloud とソラカメ 株式会社ソラコム ソラコムクラウドカメラサービス/エンジニア 片瀬 拓海 Grafana Meetup Japan #4
2. 片瀬 拓海 • ソラコムクラウドカメラサービス (ソラ カメ) / エンジニア • Go / Terraform / neovim • ❤ ラーメン🍜
3. • ソラコムクラウドカメラサービス (ソラカメ) • なぜGrafana Cloudを使っているか • ソラカメでのGrafana Cloud活用 目次
4. ソラコムクラウドカメラサービス (ソラカメ)
5. 3,980 円〜始められるIoTカメラ ソラコムクラウドカメラサービス(ソラカメ)
6. 3,980 円〜始められるIoTカメラ ソラコムクラウドカメラサービス(ソラカメ) • 工事不要で設置 • APIを使ったシステム連携 • PC・スマートフォンから利用
7. • カメラ一覧、カメラ詳細情報の取得 • 常時録画ストリーミング再生API • ライブ映像ストリーミング再生API • 常時録画データから切り出した静止画像のダウン ロード • カメラで検出したイベントの一覧 … ソラコムクラウドカメラサービス(ソラカメ)
8. なぜGrafana Cloudを 使っているか
9. • カメラ一覧、カメラ詳細情報の取得 • 常時録画ストリーミング再生API • ライブ映像ストリーミング再生API • 常時録画データから切り出した静止画像のダウン ロード • カメラで検出したイベントの一覧 … ソラカメAPI
10. • カメラ一覧、カメラ詳細情報の取得 • 常時録画ストリーミング再生API • ライブ映像ストリーミング再生API • 常時録画データから切り出した静止画像のダウン ロード • カメラで検出したイベントの一覧 … ソラカメAPI
11. なぜGrafana Cloudを使っているか AWS ライブストリーミ ングAPI
12. なぜGrafana Cloudを使っているか AWS ライブストリーミ ングAPI ランニングコストを抑えるためにデータ転送量料金が定額のサー バーとAWSの両方を使用
13. なぜGrafana Cloudを使っているか 両方のサーバーを統合してモニタリングしたかったので Grafana Cloud を採用 Grafana Cloud AWS 開発者
14. ソラカメでのGrafana Cloud活用
15. • マネージドサービス活用により、シンプルなモニタリン グ基盤の構築 • ソラカメAPIのE2Eテスト基盤と可視化 ソラカメでのGrafana Cloud活用
16. マネージドサービス活用により、 シンプルなモニタリング基盤の構築
17. Grafana Cloud Overview > Grafana Cloud is a fully managed cloud-hosted observability platform ideal for cloud native environments. Grafana Cloudは、クラウドネイティブ環境に最適な完全 に管理されたクラウドホストの観測可能性プラットフォー ムです。 https://grafana.com/products/cloud/
18. Grafana Cloud Overview
19. Grafana Cloud Overview
20. Grafana Cloud Overview data sourceやpluginによ るクラウドプロバイダや SaaSとの統合
21. Grafana Cloud Overview データストア、Grafana含めてマ ネージドで提供されるので、テレ メトリーを送る仕組みを作ること に集中できる
22. テレメトリーパイプライン AWS ストリーミングサーバー app app ‧‧‧ prometheus.remote_write 開発者 モニタリング プロビジョニング Grafana Cloud
23. 利点 ✅ • 各ストリーミングサーバーから直接マネージド Prometheusに送信 • コレクターのような追加のコンポーネントがないのシン プル 欠点 ⛔ • テレメトリの送信先を変更したい時にすべてのサー バーに対してプロビジョニングが必要 • サーバーの台数が増えると大変 テレメトリーパイプライン
24. テレメトリーパイプライン AWS ストリーミングサーバー app app ‧‧‧ Push metrics, logs 開発者 ダッシュボード・アラート作成 プロビジョニング 手作業だと辛い Grafana Cloud
26. > Ansible offers open-source automation that is simple, flexible, and powerful. Ansibleは、シンプルで柔軟で強力なオープンソースオー トメーションを提供しています。 Ansible https://docs.ansible.com/
27. • GrafanaがメンテナンスしているAnsible collectionがある。 • インストールから設定まで一括で管理できる Ansible https://docs.ansible.com/ansible/latest/collections/grafana/grafana/index.html#plugins-in-grafana-grafana
28. Grafana Agent - Metrics / Logs grafana_cloud_log_url ↓ https://logs-xxx.grafana.net/l oki/api/v1/push grafana_cloud_hosted_url ↓ https://prometheus-xxx.grafana .net/api/prom/push
29. Grafana Agent - Metrics / Logs
30. Grafana Agent - Metrics / Logs ダッシュボードやAlertを設定するためにメトリクスやログを クエリできるようになる
31. ソラカメAPIのE2Eテスト基盤と 可視化
32. • ソラカメはAPIから利用することが可能 • 実際のユーザーのように、外部からAPIを呼び出し て、期待通りに動いているかテストしている ソラカメAPI E2Eテスト
33. ソラカメAPI E2Eテスト E2E テストコード (Python) Grafana Cloud ソラカメAPI ① テスト実行 (5分ごと) ② テスト結果送信
34. ✅ テスト用のカメラをセットアップして、定期的にテストを 実施 ✅ API ~ カメラまで通してテストすることが可能。 ✅ テストが意図した通りに動いていることを確認。 ✅ デバイスの不具合を見つけることも可能。 （特定のデバイスのみテストが失敗するなど） ⛔ Flaky (再実行することである程度カバーしている) ソラカメAPI E2Eテスト
35. ソラカメAPI E2Eテスト E2E テストコード (Python) Grafana Cloud ソラカメAPI ① テスト実行 (5分ごと) ② テスト結果送信
36. ソラカメAPI E2Eテスト ① Grafana Cloudのエンドポイント 取得 ② テスト結果を送信する際のメトリ クスフォーマットに従って格納 ③ ①で取得したエンドポイントに POST
37. ソラカメAPI E2Eテスト ① Grafana Cloudのエンドポイント 取得 ② テスト結果を送信する際のメトリ クスフォーマットに従って格納 ③ ①で取得したエンドポイントに POST
38. ソラカメAPI E2Eテスト f"{metric_index},test_name={result['name']},device_id={result ['device_id']},test_kind={test_kind} value={value} {int(time.time() * 1e9)}" <metrics_name>,labelx=xxx,labely=yyy <value>=value <timestamp>
39. ソラカメAPI E2Eテスト Grafana Cloud <metrics_name>,labelx=xxx,labely=yyy <value>=value <timestamp> influxDB line protocol 送信 Prometheus のメト リクスに変換
40. ソラカメAPI E2Eテスト Grafana Cloud <metrics_name>,labelx=xxx,labely=yyy <value>=value <timestamp> influxDB line protocol 送信 Prometheus のメト リクスに変換 シンプルなプロトコル。ツールやライブラリなど使わなくても 気軽にメトリクスを送信可能
41. ソラカメAPI E2Eテスト 他のメトリクスと同様に、PromQLを使ってダッシュボードに 表示可能 sora_cam_pytest_results_prod{test_name=~"test_p2 p_api_.*"}
42. ソラカメAPI E2Eテスト 3回連続それぞれのテストが成功していることがわかる
43. ソラカメAPI E2Eテスト このAPIは調子悪そう。 同一のテスト名で、違うデバイスはパスしているなら、デバ イス起因の問題の可能性も
44. • ソラカメで活用しているGrafana Cloudの機能を紹介 しました。 • Grafana Agent を使ったサーバーのモニタリング • E2Eテスト基盤の可視化 まとめ マネージドサービスをフルに活用することで、シンプルな構 成で監視基盤を構築できる 👍