IoT時代のレコード管理を考える

IoT時代のレコード管理を考えるアールスリーインスティテュート沖安隆 2019.07.25(⽊)

「⼈がレコード登録するのではなく、機器から定期的にレコード登録する」という使われ⽅をする時代これを実際にやるとどうなるか 2 IoT時代とは?

3 構成図をざっくりと考えてみる AWS IoT Core AWS Cloud AWS Lambda Amazon
DynamoDB DynamoDB Stream

4 構成図をざっくりと考えてみる AWS IoT Core AWS Cloud AWS Lambda Amazon
DynamoDB DynamoDB Stream 台数を⽤意するのが難しい

⼤量にレコードを追加したい出来れば意味のあるデータがいいどうすれば良いか。。。 5

Amazon価格取得 ×Marketplace Web Service(MWS) ◦Product Advertising API (PA-API) 6 そういえばこんなのが。。。

⾊々な条件を指定して多様な商品情報を取得するAPI （ただし、同⼀条件だとMAX100件）語り出すと30分以上かかるので省略 7 PA-APIとは?

・ジャンルと価格範囲を指定して検索・200件以内なら価格昇順と降順で取得・200件より多ければ価格範囲を分割以下、繰り返す 8 どうやるのか

9 こんな感じです AWS Cloud Amazon EC2 Amazon Simple Queue Service
アカウント情報 Amazon RDS 検索条件 Amazon RDS

毎分の書き込みレコード数はこんな感じ 10

⼤体１週間でこうなりました 11

ディスク使⽤量が！ 12 考えなしにレコード追加していると⼤変です。しかも、⼀度増えるとレコードを削除しても減りません。。対策が必要ですね。

ちなみに、気づいた⼈います？ 13

実は4年前の話でした 14

話を戻すと。。 16

17 定期的でこまめな削除処理が重要 AWS IoT Core AWS Cloud AWS Lambda Amazon
DynamoDB DynamoDB Stream AWS Lambda Event (time-based) Amazon CloudWatch 削除

18 定期的でこまめな削除処理が重要そのためにも、レコードID指定以外の削除⽅法をお願いします m(_ _)m

でも、グラフで推移を⾒たいから⼀定量のレコード数は欲しいよね 19

気づきました？ 20

100万件以上は無意味なのでそれ未満に収まるようにコントロール収まらなければ⾒たい期間と取得間隔を考えましょう。 21 気づきました？

レコード追加は計画的にレコード削除もお忘れなく 22

ありがとうございました 23

IoT時代のレコード管理を考える

IoT時代のレコード管理を考える

okiyasu

More Decks by okiyasu

Other Decks in Programming

Featured

Transcript