Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Grafana_IoT_Data_DataLake
Search
Yona
July 31, 2024
0
310
Grafana_IoT_Data_DataLake
Yona
July 31, 2024
Tweet
Share
More Decks by Yona
See All by Yona
IoT_Greengrass_Begginer
yonasou
0
63
terraform_module_ Beginner
yonasou
4
68k
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
128
8.8k
Done Done
chrislema
180
16k
Designing with Data
zakiwarfel
98
5k
Scaling GitHub
holman
458
140k
Agile that works and the tools we love
rasmusluckow
327
20k
Building Your Own Lightsaber
phodgson
101
6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
25
1.3k
Clear Off the Table
cherdarchuk
91
320k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Building Adaptive Systems
keathley
36
2.1k
Docker and Python
trallard
39
3k
Music & Morning Musume
bryan
46
6k
Transcript
GrafanaでIoTデータを可視化 する際のデータレイクに TimestreamとS3を⽐べてみた 2024.7.31 AWS事業本部 コンサルティング部 与那嶺 創
Xへの投稿の際は、 ハッシュタグ #devio2024 でお願いいたします。 2 お願い
⾃⼰紹介 • 名前:与那嶺 創(よなみね そう) • 所属:クラスメソッド株式会社 AWS事業本部 コンサルティング部 •
趣味:山と散歩とラジオ🏃 • 好きなAWSサービス: IoT Core, Amazon Managed Grafana 3
アジェンダ 4 • 前置き • データレイクの選定 • データレイクがTimestreamの場合 • データレイクがS3の場合
• まとめ
AWSでIoTデータを扱ったこと ありますか? 5
今⽇は何の話するの? 6 IoTデータをAWSを使って可視化する際の アーキテクチャ、特にデータを保存する場所(データレイク) の話をします。
None
データレイクを考える前に... 8 • データサイズが小さい • データ量が多い • 書き込み量が多い • 時系列データ
IoTデータってどんな特徴があるの?
データレイクの候補 9
候補に上がったサービス 10
データレイクを選択する際の観点 11 • 可視化サービスのデータソースに選択できるか • 大量のデータ書き込みに柔軟に対応できるか • 様々なスキーマに対応可能か • 運用が辛くないか
データレイクを選択する際の観点 12 • 可視化サービスのデータソースに選択できるか →Grafanaのデータソースに選択できる • 大量のデータ書き込みに柔軟に対応できるか →スケーラブル • 様々なスキーマに対応可能か
→スキーマレス • 運用が辛くないか →サーバレス
選ばなかったサービス 13
選ばなかったサービス 14 ※DynamoDBはGrafanaのエンタープライズ版ではサポートされています
候補に上がったサービス 15
今回の⽐較 16 • Grafanaのデータソースとして選択できる(S3は Athena経由) • 大量のデータ書き込みに柔軟に対応 • スキーマレス •
サーバレスで運用負荷が低い Amazon Timestream for LiveAnalytics Amazon S3
Timestreamって聞いたことある? 17
Amazon Timestreamが IoTデータのデータレイクに適している理由 18 • 時系列のデータを扱いやすい • Grafanaのデータソースに選択可能 • スキーマレスかつスケーラブル
• サーバレスで運用負荷が少ない Amazon Timestream for LiveAnalytics
Timestreamを使うアーキテクチャ 19
よくあるアーキテクチャ 20
よくあるアーキテクチャ 21
コストに注意!! 22
Timestreamのアップデート 23 https://aws.amazon.com/jp/about-aws/whats-new/2024/04/tcu-amazon-timestream-liveanalytics/ アップデート • クエリの料金体系が変わった • スキャン量の大きいクエリでは上限を設定してコスト管理ができるよう になった •
スキャン量の小さいクエリでは最低使用料金が定められている
Timestreamのアップデート 24 https://aws.amazon.com/jp/about-aws/whats-new/2024/04/tcu-amazon-timestream-liveanalytics/ アップデート • クエリの料金体系が変わった • スキャン量の大きいクエリでは上限を設定してコスト管理ができるよう になった •
スキャン量の小さいクエリでは最低使用料金が定められている →スキャン量の小さいクエリではコストが増加するケースがある
想定以上のコストがかかるケース 25 ダッシュボード更新 = Timestreamへクエリ Grafanaのダッシュボード更新頻度が多い
想定以上のコストがかかるケース 26
想定以上のコストがかかるケース 27
想定以上のコストがかかるケース 28
Timestreamのコストが気になる時は 29 本当にその頻繁でクエリを実行する必要がありますか? 本当にそのデータを可視化する必要はありますか?
None
Timestreamのコストが気になる時は 31 ダッシュボードは変えられない! 更新頻度も減らせない!
Timestreamのコストが気になる時は 32 データソースの変更を検討してみましょう
Timestreamから S3に変更してみる 33
Amazon S3が IoTデータのデータレイクに適している理由 34 • ストレージコストが安い • Athenaを使ったクエリはTimestreamのクエリに 比べて費用が安価 •
スキーマレスかつスケーラブル • サーバレスで運用負荷が少ない Amazon S3 ➕ Amazon Athena
S3+Athenaを使うアーキテクチャ 35
36 データがタイムスタンプを持っていない場合
クエリ料⾦はどれくらい 違うの? 37
クエリ料⾦の⽐較 38 • 1分に1回、100バイトのデータがデータレイクに保存 • 1分に1回、直近100個のデータに対してスキャン実行 • 1ヶ月分のクエリコスト データレイク :Athena
データレイク :Timestream • 1回のスキャン:100バイト×100個=10KB • Athenaの最低クエリは10MB(0.000005USD) • 0.000005(USD)×60(分)×24(時間)×30(日) = 0.216USD • 1回のスキャン:100バイト×100個=10KB • Timestreamの最低クエリは4TCU×30秒(0.0216USD) • 0.0216(USD)×60(分)×24(時間)×30(日) = 933.12USD
まとめ 39
まとめ 40 • TimestreamはIoTデータを扱うの際に有用なデータベース • Timestreamを利用する際はコストに注意が必要 • コストが気になるときはデータソースを変更することも検討す る
私個⼈の所感 41 • Timestream for Analysticsは名前からしても分析向きのサー ビスなので、リアルタイムモニタリング向きではない気がする • これから新たにシステム構築するなら、まずをS3選びたい
42