Slide 1
Slide 1 text
GrafanaでIoTデータを可視化
する際のデータレイクに
TimestreamとS3を⽐べてみた
2024.7.31
AWS事業本部 コンサルティング部 与那嶺 創
Slide 2
Slide 2 text
Xへの投稿の際は、
ハッシュタグ
#devio2024
でお願いいたします。
2
お願い
Slide 3
Slide 3 text
⾃⼰紹介
● 名前：与那嶺 創（よなみね そう）
● 所属：クラスメソッド株式会社
AWS事業本部 コンサルティング部
● 趣味：山と散歩とラジオ🏃
● 好きなAWSサービス：
IoT Core, Amazon Managed Grafana
3
Slide 4
Slide 4 text
アジェンダ 4
● 前置き
● データレイクの選定
● データレイクがTimestreamの場合
● データレイクがS3の場合
● まとめ
Slide 5
Slide 5 text
AWSでIoTデータを扱ったこと
ありますか？
5
Slide 6
Slide 6 text
今⽇は何の話するの？ 6
IoTデータをAWSを使って可視化する際の
アーキテクチャ、特にデータを保存する場所（データレイク）
の話をします。
Slide 7
Slide 7 text
No content
Slide 8
Slide 8 text
データレイクを考える前に... 8
● データサイズが小さい
● データ量が多い
● 書き込み量が多い
● 時系列データ
IoTデータってどんな特徴があるの？
Slide 9
Slide 9 text
データレイクの候補
9
Slide 10
Slide 10 text
候補に上がったサービス 10
Slide 11
Slide 11 text
データレイクを選択する際の観点 11
● 可視化サービスのデータソースに選択できるか
● 大量のデータ書き込みに柔軟に対応できるか
● 様々なスキーマに対応可能か
● 運用が辛くないか
Slide 12
Slide 12 text
データレイクを選択する際の観点 12
● 可視化サービスのデータソースに選択できるか
→Grafanaのデータソースに選択できる
● 大量のデータ書き込みに柔軟に対応できるか
→スケーラブル
● 様々なスキーマに対応可能か
→スキーマレス
● 運用が辛くないか
→サーバレス
Slide 13
Slide 13 text
選ばなかったサービス 13
Slide 14
Slide 14 text
選ばなかったサービス 14
※DynamoDBはGrafanaのエンタープライズ版ではサポートされています
Slide 15
Slide 15 text
候補に上がったサービス 15
Slide 16
Slide 16 text
今回の⽐較 16
● Grafanaのデータソースとして選択できる(S3は
Athena経由)
● 大量のデータ書き込みに柔軟に対応
● スキーマレス
● サーバレスで運用負荷が低い
Amazon Timestream
for LiveAnalytics
Amazon S3
Slide 17
Slide 17 text
Timestreamって聞いたことある？
17
Slide 18
Slide 18 text
Amazon Timestreamが
IoTデータのデータレイクに適している理由
18
● 時系列のデータを扱いやすい
● Grafanaのデータソースに選択可能
● スキーマレスかつスケーラブル
● サーバレスで運用負荷が少ない
Amazon Timestream
for LiveAnalytics
Slide 19
Slide 19 text
Timestreamを使うアーキテクチャ 19
Slide 20
Slide 20 text
よくあるアーキテクチャ 20
Slide 21
Slide 21 text
よくあるアーキテクチャ 21
Slide 22
Slide 22 text
コストに注意！！
22
Slide 23
Slide 23 text
Timestreamのアップデート 23
https://aws.amazon.com/jp/about-aws/whats-new/2024/04/tcu-amazon-timestream-liveanalytics/
アップデート
● クエリの料金体系が変わった
● スキャン量の大きいクエリでは上限を設定してコスト管理ができるよう
になった
● スキャン量の小さいクエリでは最低使用料金が定められている
Slide 24
Slide 24 text
Timestreamのアップデート 24
https://aws.amazon.com/jp/about-aws/whats-new/2024/04/tcu-amazon-timestream-liveanalytics/
アップデート
● クエリの料金体系が変わった
● スキャン量の大きいクエリでは上限を設定してコスト管理ができるよう
になった
● スキャン量の小さいクエリでは最低使用料金が定められている
→スキャン量の小さいクエリではコストが増加するケースがある
Slide 25
Slide 25 text
想定以上のコストがかかるケース 25
ダッシュボード更新 ＝ Timestreamへクエリ
Grafanaのダッシュボード更新頻度が多い
Slide 26
Slide 26 text
想定以上のコストがかかるケース 26
Slide 27
Slide 27 text
想定以上のコストがかかるケース 27
Slide 28
Slide 28 text
想定以上のコストがかかるケース 28
Slide 29
Slide 29 text
Timestreamのコストが気になる時は 29
本当にその頻繁でクエリを実行する必要がありますか？
本当にそのデータを可視化する必要はありますか？
Slide 30
Slide 30 text
No content
Slide 31
Slide 31 text
Timestreamのコストが気になる時は 31
ダッシュボードは変えられない！
更新頻度も減らせない！
Slide 32
Slide 32 text
Timestreamのコストが気になる時は 32
データソースの変更を検討してみましょう
Slide 33
Slide 33 text
Timestreamから
S3に変更してみる
33
Slide 34
Slide 34 text
Amazon S3が
IoTデータのデータレイクに適している理由
34
● ストレージコストが安い
● Athenaを使ったクエリはTimestreamのクエリに
比べて費用が安価
● スキーマレスかつスケーラブル
● サーバレスで運用負荷が少ない
Amazon S3
➕
Amazon Athena
Slide 35
Slide 35 text
S3+Athenaを使うアーキテクチャ 35
Slide 36
Slide 36 text
36
データがタイムスタンプを持っていない場合
Slide 37
Slide 37 text
クエリ料⾦はどれくらい
違うの？
37
Slide 38
Slide 38 text
クエリ料⾦の⽐較 38
● 1分に1回、100バイトのデータがデータレイクに保存
● 1分に1回、直近100個のデータに対してスキャン実行
● 1ヶ月分のクエリコスト
データレイク :Athena データレイク :Timestream
● 1回のスキャン:100バイト×100個=10KB
● Athenaの最低クエリは10MB(0.000005USD)
● 0.000005(USD)×60(分)×24(時間)×30(日)
= 0.216USD
● 1回のスキャン:100バイト×100個=10KB
● Timestreamの最低クエリは4TCU×30秒(0.0216USD)
● 0.0216(USD)×60(分)×24(時間)×30(日)
= 933.12USD
Slide 39
Slide 39 text
まとめ
39
Slide 40
Slide 40 text
まとめ 40
● TimestreamはIoTデータを扱うの際に有用なデータベース
● Timestreamを利用する際はコストに注意が必要
● コストが気になるときはデータソースを変更することも検討す
る
Slide 41
Slide 41 text
私個⼈の所感 41
● Timestream for Analysticsは名前からしても分析向きのサー
ビスなので、リアルタイムモニタリング向きではない気がする
● これから新たにシステム構築するなら、まずをS3選びたい
Slide 42
Slide 42 text
42