IoT時代のレコード管理を考える

「人がレコード登録するのではなく、機器から定期的にレコード登録する」
という使われ方をする時代

これを実際にやるとどうなるかを思い出として語ってみます

Transcript

1. IoT時代のレコード管理を考える アールスリーインスティテュート 沖 安隆 2019.07.25(⽊)
2. 「⼈がレコード登録するのではなく、 機器から定期的にレコード登録する」 という使われ⽅をする時代 これを実際にやるとどうなるか 2 IoT時代とは?
3. 3 構成図をざっくりと考えてみる AWS IoT Core AWS Cloud AWS Lambda Amazon DynamoDB DynamoDB Stream
4. 4 構成図をざっくりと考えてみる AWS IoT Core AWS Cloud AWS Lambda Amazon DynamoDB DynamoDB Stream 台数を⽤意する のが難しい
5. ⼤量にレコードを追加したい 出来れば意味のあるデータがいい どうすれば良いか。。。 5
6. Amazon価格取得 ×Marketplace Web Service(MWS) ◦Product Advertising API (PA-API) 6 そういえばこんなのが。。。
7. ⾊々な条件を指定して 多様な商品情報を取得するAPI （ただし、同⼀条件だとMAX100件） 語り出すと30分以上かかるので省略 7 PA-APIとは?
8. ・ジャンルと価格範囲を指定して検索 ・200件以内なら価格昇順と降順で取得 ・200件より多ければ価格範囲を分割 以下、繰り返す 8 どうやるのか
9. 9 こんな感じです AWS Cloud Amazon EC2 Amazon Simple Queue Service アカウント情報 Amazon RDS 検索条件 Amazon RDS
10. 毎分の書き込みレコード数はこんな感じ 10
11. ⼤体１週間でこうなりました 11
12. ディスク使⽤量が！ 12 考えなしにレコード追加していると⼤変です。 しかも、⼀度増えるとレコードを削除しても減りません。。 対策が必要ですね。
13. ちなみに、 気づいた⼈います？ 13
14. 実は4年前の話でした 14
15. 話を戻すと。。 16
16. 17 定期的でこまめな削除処理が重要 AWS IoT Core AWS Cloud AWS Lambda Amazon DynamoDB DynamoDB Stream AWS Lambda Event (time-based) Amazon CloudWatch 削除
17. 18 定期的でこまめな削除処理が重要 そのためにも、 レコードID指定以外の 削除⽅法をお願いします m(_ _)m
18. でも、グラフで推移を⾒たいから ⼀定量のレコード数は欲しいよね 19
19. 気づきました？ 20
20. 100万件以上は無意味なので それ未満に収まるようにコントロール 収まらなければ ⾒たい期間と取得間隔を考えましょう。 21 気づきました？
21. レコード追加は計画的に レコード削除もお忘れなく 22
22. ありがとうございました 23