Upgrade to Pro — share decks privately, control downloads, hide ads and more …

IoT時代のレコード管理を考える

 IoT時代のレコード管理を考える

「人がレコード登録するのではなく、機器から定期的にレコード登録する」
という使われ方をする時代

これを実際にやるとどうなるかを思い出として語ってみます

E671432ee32b78dfa0514cc77e0ac556?s=128

okiyasu

July 25, 2019
Tweet

Transcript

  1. IoT時代のレコード管理を考える アールスリーインスティテュート 沖 安隆 2019.07.25(⽊)

  2. 「⼈がレコード登録するのではなく、 機器から定期的にレコード登録する」 という使われ⽅をする時代 これを実際にやるとどうなるか 2 IoT時代とは?

  3. 3 構成図をざっくりと考えてみる AWS IoT Core AWS Cloud AWS Lambda Amazon

    DynamoDB DynamoDB Stream
  4. 4 構成図をざっくりと考えてみる AWS IoT Core AWS Cloud AWS Lambda Amazon

    DynamoDB DynamoDB Stream 台数を⽤意する のが難しい
  5. ⼤量にレコードを追加したい 出来れば意味のあるデータがいい どうすれば良いか。。。 5

  6. Amazon価格取得 ×Marketplace Web Service(MWS) ◦Product Advertising API (PA-API) 6 そういえばこんなのが。。。

  7. ⾊々な条件を指定して 多様な商品情報を取得するAPI (ただし、同⼀条件だとMAX100件) 語り出すと30分以上かかるので省略 7 PA-APIとは?

  8. ・ジャンルと価格範囲を指定して検索 ・200件以内なら価格昇順と降順で取得 ・200件より多ければ価格範囲を分割 以下、繰り返す 8 どうやるのか

  9. 9 こんな感じです AWS Cloud Amazon EC2 Amazon Simple Queue Service

    アカウント情報 Amazon RDS 検索条件 Amazon RDS
  10. 毎分の書き込みレコード数はこんな感じ 10

  11. ⼤体1週間でこうなりました 11

  12. ディスク使⽤量が! 12 考えなしにレコード追加していると⼤変です。 しかも、⼀度増えるとレコードを削除しても減りません。。 対策が必要ですね。

  13. ちなみに、 気づいた⼈います? 13

  14. 実は4年前の話でした 14

  15. 話を戻すと。。 16

  16. 17 定期的でこまめな削除処理が重要 AWS IoT Core AWS Cloud AWS Lambda Amazon

    DynamoDB DynamoDB Stream AWS Lambda Event (time-based) Amazon CloudWatch 削除
  17. 18 定期的でこまめな削除処理が重要 そのためにも、 レコードID指定以外の 削除⽅法をお願いします m(_ _)m

  18. でも、グラフで推移を⾒たいから ⼀定量のレコード数は欲しいよね 19

  19. 気づきました? 20

  20. 100万件以上は無意味なので それ未満に収まるようにコントロール 収まらなければ ⾒たい期間と取得間隔を考えましょう。 21 気づきました?

  21. レコード追加は計画的に レコード削除もお忘れなく 22

  22. ありがとうございました 23