Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Grafana_IoT_Data_DataLake
Search
Yona
July 31, 2024
0
840
Grafana_IoT_Data_DataLake
Yona
July 31, 2024
Tweet
Share
More Decks by Yona
See All by Yona
Easy choice of IaC
yonasou
1
280
Illust_Terraform
yonasou
0
2.2k
re:growth 2024
yonasou
0
420
Using figma is a good thing
yonasou
1
600
IoT_Greengrass_Begginer
yonasou
0
270
terraform_module_ Beginner
yonasou
10
170k
Featured
See All Featured
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Done Done
chrislema
184
16k
Designing for Performance
lara
610
69k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Code Review Best Practice
trishagee
69
19k
Six Lessons from altMBA
skipperchong
28
3.9k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Art, The Web, and Tiny UX
lynnandtonic
301
21k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Transcript
GrafanaでIoTデータを可視化 する際のデータレイクに TimestreamとS3を⽐べてみた 2024.7.31 AWS事業本部 コンサルティング部 与那嶺 創
Xへの投稿の際は、 ハッシュタグ #devio2024 でお願いいたします。 2 お願い
⾃⼰紹介 • 名前:与那嶺 創(よなみね そう) • 所属:クラスメソッド株式会社 AWS事業本部 コンサルティング部 •
趣味:山と散歩とラジオ🏃 • 好きなAWSサービス: IoT Core, Amazon Managed Grafana 3
アジェンダ 4 • 前置き • データレイクの選定 • データレイクがTimestreamの場合 • データレイクがS3の場合
• まとめ
AWSでIoTデータを扱ったこと ありますか? 5
今⽇は何の話するの? 6 IoTデータをAWSを使って可視化する際の アーキテクチャ、特にデータを保存する場所(データレイク) の話をします。
None
データレイクを考える前に... 8 • データサイズが小さい • データ量が多い • 書き込み量が多い • 時系列データ
IoTデータってどんな特徴があるの?
データレイクの候補 9
候補に上がったサービス 10
データレイクを選択する際の観点 11 • 可視化サービスのデータソースに選択できるか • 大量のデータ書き込みに柔軟に対応できるか • 様々なスキーマに対応可能か • 運用が辛くないか
データレイクを選択する際の観点 12 • 可視化サービスのデータソースに選択できるか →Grafanaのデータソースに選択できる • 大量のデータ書き込みに柔軟に対応できるか →スケーラブル • 様々なスキーマに対応可能か
→スキーマレス • 運用が辛くないか →サーバレス
選ばなかったサービス 13
選ばなかったサービス 14 ※DynamoDBはGrafanaのエンタープライズ版ではサポートされています
候補に上がったサービス 15
今回の⽐較 16 • Grafanaのデータソースとして選択できる(S3は Athena経由) • 大量のデータ書き込みに柔軟に対応 • スキーマレス •
サーバレスで運用負荷が低い Amazon Timestream for LiveAnalytics Amazon S3
Timestreamって聞いたことある? 17
Amazon Timestreamが IoTデータのデータレイクに適している理由 18 • 時系列のデータを扱いやすい • Grafanaのデータソースに選択可能 • スキーマレスかつスケーラブル
• サーバレスで運用負荷が少ない Amazon Timestream for LiveAnalytics
Timestreamを使うアーキテクチャ 19
よくあるアーキテクチャ 20
よくあるアーキテクチャ 21
コストに注意!! 22
Timestreamのアップデート 23 https://aws.amazon.com/jp/about-aws/whats-new/2024/04/tcu-amazon-timestream-liveanalytics/ アップデート • クエリの料金体系が変わった • スキャン量の大きいクエリでは上限を設定してコスト管理ができるよう になった •
スキャン量の小さいクエリでは最低使用料金が定められている
Timestreamのアップデート 24 https://aws.amazon.com/jp/about-aws/whats-new/2024/04/tcu-amazon-timestream-liveanalytics/ アップデート • クエリの料金体系が変わった • スキャン量の大きいクエリでは上限を設定してコスト管理ができるよう になった •
スキャン量の小さいクエリでは最低使用料金が定められている →スキャン量の小さいクエリではコストが増加するケースがある
想定以上のコストがかかるケース 25 ダッシュボード更新 = Timestreamへクエリ Grafanaのダッシュボード更新頻度が多い
想定以上のコストがかかるケース 26
想定以上のコストがかかるケース 27
想定以上のコストがかかるケース 28
Timestreamのコストが気になる時は 29 本当にその頻繁でクエリを実行する必要がありますか? 本当にそのデータを可視化する必要はありますか?
None
Timestreamのコストが気になる時は 31 ダッシュボードは変えられない! 更新頻度も減らせない!
Timestreamのコストが気になる時は 32 データソースの変更を検討してみましょう
Timestreamから S3に変更してみる 33
Amazon S3が IoTデータのデータレイクに適している理由 34 • ストレージコストが安い • Athenaを使ったクエリはTimestreamのクエリに 比べて費用が安価 •
スキーマレスかつスケーラブル • サーバレスで運用負荷が少ない Amazon S3 ➕ Amazon Athena
S3+Athenaを使うアーキテクチャ 35
36 データがタイムスタンプを持っていない場合
クエリ料⾦はどれくらい 違うの? 37
クエリ料⾦の⽐較 38 • 1分に1回、100バイトのデータがデータレイクに保存 • 1分に1回、直近100個のデータに対してスキャン実行 • 1ヶ月分のクエリコスト データレイク :Athena
データレイク :Timestream • 1回のスキャン:100バイト×100個=10KB • Athenaの最低クエリは10MB(0.000005USD) • 0.000005(USD)×60(分)×24(時間)×30(日) = 0.216USD • 1回のスキャン:100バイト×100個=10KB • Timestreamの最低クエリは4TCU×30秒(0.0216USD) • 0.0216(USD)×60(分)×24(時間)×30(日) = 933.12USD
まとめ 39
まとめ 40 • TimestreamはIoTデータを扱うの際に有用なデータベース • Timestreamを利用する際はコストに注意が必要 • コストが気になるときはデータソースを変更することも検討す る
私個⼈の所感 41 • Timestream for Analysticsは名前からしても分析向きのサー ビスなので、リアルタイムモニタリング向きではない気がする • これから新たにシステム構築するなら、まずをS3選びたい
42