Grafana_IoT_Data_DataLake

Transcript

1. GrafanaでIoTデータを可視化 する際のデータレイクに TimestreamとS3を⽐べてみた 2024.7.31 AWS事業本部 コンサルティング部 与那嶺 創
2. Xへの投稿の際は、 ハッシュタグ #devio2024 でお願いいたします。 2 お願い
3. ⾃⼰紹介 • 名前：与那嶺 創（よなみね そう） • 所属：クラスメソッド株式会社 AWS事業本部 コンサルティング部 • 趣味：山と散歩とラジオ🏃 • 好きなAWSサービス： IoT Core, Amazon Managed Grafana 3
4. アジェンダ 4 • 前置き • データレイクの選定 • データレイクがTimestreamの場合 • データレイクがS3の場合 • まとめ
5. AWSでIoTデータを扱ったこと ありますか？ 5
6. 今⽇は何の話するの？ 6 IoTデータをAWSを使って可視化する際の アーキテクチャ、特にデータを保存する場所（データレイク） の話をします。
8. データレイクを考える前に... 8 • データサイズが小さい • データ量が多い • 書き込み量が多い • 時系列データ IoTデータってどんな特徴があるの？
9. データレイクの候補 9
10. 候補に上がったサービス 10
11. データレイクを選択する際の観点 11 • 可視化サービスのデータソースに選択できるか • 大量のデータ書き込みに柔軟に対応できるか • 様々なスキーマに対応可能か • 運用が辛くないか
12. データレイクを選択する際の観点 12 • 可視化サービスのデータソースに選択できるか →Grafanaのデータソースに選択できる • 大量のデータ書き込みに柔軟に対応できるか →スケーラブル • 様々なスキーマに対応可能か →スキーマレス • 運用が辛くないか →サーバレス
13. 選ばなかったサービス 13
14. 選ばなかったサービス 14 ※DynamoDBはGrafanaのエンタープライズ版ではサポートされています
15. 候補に上がったサービス 15
16. 今回の⽐較 16 • Grafanaのデータソースとして選択できる(S3は Athena経由) • 大量のデータ書き込みに柔軟に対応 • スキーマレス • サーバレスで運用負荷が低い Amazon Timestream for LiveAnalytics Amazon S3
17. Timestreamって聞いたことある？ 17
18. Amazon Timestreamが IoTデータのデータレイクに適している理由 18 • 時系列のデータを扱いやすい • Grafanaのデータソースに選択可能 • スキーマレスかつスケーラブル • サーバレスで運用負荷が少ない Amazon Timestream for LiveAnalytics
19. Timestreamを使うアーキテクチャ 19
20. よくあるアーキテクチャ 20
21. よくあるアーキテクチャ 21
22. コストに注意！！ 22
23. Timestreamのアップデート 23 https://aws.amazon.com/jp/about-aws/whats-new/2024/04/tcu-amazon-timestream-liveanalytics/ アップデート • クエリの料金体系が変わった • スキャン量の大きいクエリでは上限を設定してコスト管理ができるよう になった • スキャン量の小さいクエリでは最低使用料金が定められている
24. Timestreamのアップデート 24 https://aws.amazon.com/jp/about-aws/whats-new/2024/04/tcu-amazon-timestream-liveanalytics/ アップデート • クエリの料金体系が変わった • スキャン量の大きいクエリでは上限を設定してコスト管理ができるよう になった • スキャン量の小さいクエリでは最低使用料金が定められている →スキャン量の小さいクエリではコストが増加するケースがある
25. 想定以上のコストがかかるケース 25 ダッシュボード更新 ＝ Timestreamへクエリ Grafanaのダッシュボード更新頻度が多い
26. 想定以上のコストがかかるケース 26
27. 想定以上のコストがかかるケース 27
28. 想定以上のコストがかかるケース 28
29. Timestreamのコストが気になる時は 29 本当にその頻繁でクエリを実行する必要がありますか？ 本当にそのデータを可視化する必要はありますか？
31. Timestreamのコストが気になる時は 31 ダッシュボードは変えられない！ 更新頻度も減らせない！
32. Timestreamのコストが気になる時は 32 データソースの変更を検討してみましょう
33. Timestreamから S3に変更してみる 33
34. Amazon S3が IoTデータのデータレイクに適している理由 34 • ストレージコストが安い • Athenaを使ったクエリはTimestreamのクエリに 比べて費用が安価 • スキーマレスかつスケーラブル • サーバレスで運用負荷が少ない Amazon S3 ➕ Amazon Athena
35. S3+Athenaを使うアーキテクチャ 35
36. 36 データがタイムスタンプを持っていない場合
37. クエリ料⾦はどれくらい 違うの？ 37
38. クエリ料⾦の⽐較 38 • 1分に1回、100バイトのデータがデータレイクに保存 • 1分に1回、直近100個のデータに対してスキャン実行 • 1ヶ月分のクエリコスト データレイク :Athena データレイク :Timestream • 1回のスキャン:100バイト×100個=10KB • Athenaの最低クエリは10MB(0.000005USD) • 0.000005(USD)×60(分)×24(時間)×30(日) = 0.216USD • 1回のスキャン:100バイト×100個=10KB • Timestreamの最低クエリは4TCU×30秒(0.0216USD) • 0.0216(USD)×60(分)×24(時間)×30(日) = 933.12USD
39. まとめ 39
40. まとめ 40 • TimestreamはIoTデータを扱うの際に有用なデータベース • Timestreamを利用する際はコストに注意が必要 • コストが気になるときはデータソースを変更することも検討す る
41. 私個⼈の所感 41 • Timestream for Analysticsは名前からしても分析向きのサー ビスなので、リアルタイムモニタリング向きではない気がする • これから新たにシステム構築するなら、まずをS3選びたい