IoT時代のレコード管理を考える

Transcript

1. IoT時代のレコード管理を考える アールスリーインスティテュート 沖 安隆 2019.07.25(⽊)

2. 「⼈がレコード登録するのではなく、 機器から定期的にレコード登録する」 という使われ⽅をする時代 これを実際にやるとどうなるか 2 IoT時代とは?

3. 3 構成図をざっくりと考えてみる AWS IoT Core AWS Cloud AWS Lambda Amazon

   DynamoDB DynamoDB Stream

4. 4 構成図をざっくりと考えてみる AWS IoT Core AWS Cloud AWS Lambda Amazon

   DynamoDB DynamoDB Stream 台数を⽤意する のが難しい

5. ⼤量にレコードを追加したい 出来れば意味のあるデータがいい どうすれば良いか。。。 5

6. Amazon価格取得 ×Marketplace Web Service(MWS) ◦Product Advertising API (PA-API) 6 そういえばこんなのが。。。

7. ⾊々な条件を指定して 多様な商品情報を取得するAPI （ただし、同⼀条件だとMAX100件） 語り出すと30分以上かかるので省略 7 PA-APIとは?

8. ・ジャンルと価格範囲を指定して検索 ・200件以内なら価格昇順と降順で取得 ・200件より多ければ価格範囲を分割 以下、繰り返す 8 どうやるのか

9. 9 こんな感じです AWS Cloud Amazon EC2 Amazon Simple Queue Service

   アカウント情報 Amazon RDS 検索条件 Amazon RDS

10. 毎分の書き込みレコード数はこんな感じ 10

11. ⼤体１週間でこうなりました 11

12. ディスク使⽤量が！ 12 考えなしにレコード追加していると⼤変です。 しかも、⼀度増えるとレコードを削除しても減りません。。 対策が必要ですね。

13. ちなみに、 気づいた⼈います？ 13

14. 実は4年前の話でした 14

15. 話を戻すと。。 16

16. 17 定期的でこまめな削除処理が重要 AWS IoT Core AWS Cloud AWS Lambda Amazon

    DynamoDB DynamoDB Stream AWS Lambda Event (time-based) Amazon CloudWatch 削除

17. 18 定期的でこまめな削除処理が重要 そのためにも、 レコードID指定以外の 削除⽅法をお願いします m(_ _)m

18. でも、グラフで推移を⾒たいから ⼀定量のレコード数は欲しいよね 19

19. 気づきました？ 20

20. 100万件以上は無意味なので それ未満に収まるようにコントロール 収まらなければ ⾒たい期間と取得間隔を考えましょう。 21 気づきました？

21. レコード追加は計画的に レコード削除もお忘れなく 22

22. ありがとうございました 23