サーバレスでDynamoDBレスなIoTアプリ開発

1 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
サーバレスでDynamoDBレスな IoTアプリ開発 2019/09/27 Acroquest Technology Co., Ltd. ⽯⽥浩司

2 ⽯⽥浩司( @kojiisd) ‒ ミャンマー⽀社CTO (2012–2015, 2017-2018) ‒ JavaOne
スピーカー (2015) ‒ JAWS-UG 横浜⽀部 (2016) ‒ AWS Amplify Community (2019) ‒ IoTクラウドサービス開発クラウド／サーバレス／IoT スクラム Copyright © Acroquest Technology Co., Ltd. All rights reserved. Acroquest Technology株式会社シニアソリューションアーキテクト

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4
DynamoDB使ったことない⼈︖

サーバレスでデータストア先といったら⼤体 OR

DynamoDBって便利ですよね

最近こういうのも出ましたし Copyright © Acroquest Technology Co., Ltd. All rights reserved.
7 No SQL Workbench for Amazon DynamoDB (Preview) ・AWS Consoleでできることは一通りできそう・AWS公式アプリ！ Dynamonの時代は終わった

ついついデータストアとして使ってしまいます

IoTサービス開発を考える際にも、データストアの候補として挙げることがありますね

例えばこういう要件 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10 1. 農業におけるセンサデータの収集＆可視化サービス ① 農家毎にクラウドベースのセンサデバイスを利⽤ ② 各センサは独⾃のカラム構成でクラウドにデータを保持 ③ センサのデータを保持しているクラウドサービスはAPIを公開している ④ データの取得／送付間隔はセンサ毎に異なる ⑤ 1⽇1回、各センサのクラウドからデータを取得／集計し、溜め込みたいというサービスを⼀旦スモールスタートで開始したいセンサセンサ毎のクラウドにデータ保持システムとしてデータ取得収集結果の保存データの集計溜め込んで後ほど分析に利⽤ Lambda DynamoDB エンジニアが考える構成概要

スモールスタート、異なるデータ、クラウド・・・ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11 1. 農業におけるセンサデータの収集 ① 農家毎にクラウドベースのセンサデバイスを利⽤ – 1農家1デバイス程度の利⽤。スタートは10農家から。 ② 各センサは独⾃のカラム構成でクラウドにデータを保持 – temperatureだったりtempだったり。。。 ③ センサのデータを保持しているクラウドサービスはAPIを公開している ④ データの取得／送付間隔はセンサ毎に異なる – 1時間1回の最⾼／最低／平均値を送付する、1分1回のデータを送付する。 ⑤ 1⽇1回、各センサのクラウドからデータを取得／集計し、溜め込みたいとりあえずじゃね？

2018年のボクの頭の中・・・ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
12 1. センサデータをクラウドから取ってきてカラム構成を統⼀して 2. IoT Coreに流して 3. DynamoDBにデータを保持して（TTLを設定） 4. 定期的にLambdaで集計する・・・こんな感じ︖ AWS IoT DynamoDB Lambda センサクラウド Lambda 収集／コンバート保持加工 CloudWatch 定期実行 Elasticsearch Kibana ※こっちのアイコンの方がわかりやすいよね

運⽤を開始してしばらくすると・・・

こういうことを⾔われることがある Copyright © Acroquest Technology Co., Ltd. All rights reserved.
14 1. どのようなセンサデータが取得できたのか⾒れるようにしたい ① ⽣データを残しておいて欲しい 2. カラム構成がセンサ側で変わる可能性があるので、データの再コンバートができるようにしたい 3. DynamoDBに保持されたデータを集計して、サマリ情報を QuickSightで⾒れるようにしたいいわゆる運用改善で喜ばしいことなのですが

その時のボクの頭の中・・・ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
15 AWS IoT DynamoDB Lambda センサクラウド Lambda 収集／コンバート保持加工 CloudWatch 定期実行 Elasticsearch Kibana コンバートは⼀緒にできない。処理を切り離す加⼯の仕⽅を増やす必要あり再投⼊⽤の処理の追加が必要／データ上書きで保持できる必要ありこれ、だいぶ構成に追加必要じゃね？

その時のボクの頭の中・・・ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
16 AWS IoT DynamoDB Lambda センサクラウド Lambda 収集保持加工 CloudWatch 定期実行 Elasticsearch Kibana ・・・これ、それなりに実装しないと無理じゃね？あと追加すればするほど構成が汚くなる・・・ S3 QuickSight S3 生データ保持 Lambda Lambda 加工必要？

先輩がLambdaだったらシュッとできると⾔っていたので⼤丈夫で、現実逃避

というわけで⼿抜きをするために効率的な開発をするために構成を再度考え直す拡張性とか保守性とか大事だし

で、たどりついたのが

AWS IoT Analytics Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 20 AWS IoT Analytics は、膨大な量の IoT データの高度な分析を簡単に実行および操作できる完全マネージド型サービスです。IoT 分析プラットフォームの構築に通常伴うコストや複雑さについて心配する必要はありません。このサービスは、IoT アプリケーションや機械学習のユースケースで最適かつ正確な判断を下すために、IoT データを分析してインサイトを得る最も簡単な手段です。 https://aws.amazon.com/jp/iot-analytics/

とても便利そうに⾒えたが、この辺りの使⽤感を深く解説しているサイトは少ない

どうやらこの構成が AWS IoT DynamoDB Lambda センサクラウド Lambda 収集保持加工 CloudWatch 定期実行 Elasticsearch Kibana S3 QuickSight S3 生データ保持 Lambda Lambda 加工実装実装

Lambda センサクラウド収集 CloudWatch 定期実行 Elasticsearch Kibana S3 QuickSight こうなるようだ Lambda

Lambda センサクラウド収集 CloudWatch Event 定期実行 Elasticsearch Kibana S3 QuickSight 実際にはこう Lambda Channel Pipeline Data store Dataset Dataset IoT Analyticsを使えばDynamoDBが不要になる AWS Cloud

AWS IoT Analyticsの基本4機能 Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 25 1. Channel ① データの受付窓⼝。⽣データを受け付けてアーカイブする。 2. Pipeline ① チャネルからメッセージを受け取り、データ保持前の処理、およびフィルタリングを実施する。Lambda実⾏も可。 ② Channelからのデータを流し込む再処理が可能。 3. Data store ① メッセージの保持を⾏う時系列データストア。性能はAthena相当とのこと。 4. Dataset ① データストアからクエリで取得し⽣成したもの。S3への出⼒やQuickSight のデータソースとして選択可能。

AWS IoT Analytics - Channel Copyright © Acroquest Technology Co.,
Ltd. All rights reserved. 26 1. データの受付窓⼝。 ① ⽣データを受け付けてアーカイブする。アーカイブ期間は指定可能。 ② チャネル数や⼀つのチャネルへのメッセージ容量は制限あり。要確認。 https://docs.aws.amazon.com/ja_jp/iotanalytics/latest/userguide/getting- started.html#aws-iot-analytics-service-limits

AWS IoT Analytics - Pipeline Copyright © Acroquest Technology Co.,
Ltd. All rights reserved. 27 1. Channelで受け付けたデータを、Data storeに保持する前に加⼯することが出来る。 ① コンソール上で値の紐付けなどが⾏える加⼯⽅法と、 Lambdaを呼び出しその中で加⼯をする２通りが存在する。 ② 右図はLambda呼び出しのパターン。

AWS IoT Analytics - Data store Copyright © Acroquest Technology
Co., Ltd. All rights reserved. 28 1. メッセージの保持を⾏う時系列データストア。 ① クエリ性能はAthena相当。料⾦もS3と同じような感じと捉えれば良い。（つまりAthena︖） ② データ保持先には既存のS3バケットを選択することもできる。 ③ データ保持の期間は設定可能。（デフォルトは無期限）

AWS IoT Analytics - Dataset Copyright © Acroquest Technology Co.,
Ltd. All rights reserved. 29 1. データストアからクエリで取得し作成したもの。S3への出⼒や QuickSightのデータソースとして選択可能。 ① SQLデータセットやコンテナデータセットの作成ができる。 ② コンソール上で直近のデータの⼀覧を確認することも可能。

要件のおさらい - IoT Analyticsで解決 - Copyright © Acroquest Technology Co.,
Ltd. All rights reserved. 30 1. 農業におけるセンサデータの収集＆可視化サービス ① 農家毎にクラウドベースのセンサデバイスを利⽤ ② 各センサは独⾃のカラム構成でクラウドにデータを保持 ③ センサのデータを保持しているクラウドサービスはAPIを公開している ④ データの取得／送付間隔はセンサ毎に異なる ⑤ 1⽇1回、各センサのクラウドからデータを取得／集計し、溜め込みたい 2. 追加要件 ① どのようなセンサデータが取得できたのか⾒れるようにしたい ② カラム構成がセンサ側で変わる可能性があるので、データの再コンバートができるようにしたい ③ DynamoDBに保持されたデータを集計して、サマリ情報をQuickSightで⾒れるようにしたい OK OK

なーんて、全部うまくいけばいいんですけどね

実際には課題もあるわけです Copyright © Acroquest Technology Co., Ltd. All rights reserved.
32 1. Channelの受付容量には制限があるので、何でもかんでも送れば良いわけではない。設計が必要。（センサデバイスが無尽蔵に増えてきたら・・・） 2. Pipeline内LambdaをVPC内に配置して同⼀VPC内の何かにアクセスさせようとしてもできない（対応していない︖201906現在） 3. DatasetのS3への出⼒は必ず⼀つのCSVになってしまう。分割不可。例えば SQLでGroup Byなどで絞った結果も⼀つのCSVに出⼒されてしまう。（センサ毎／農家毎に分析処理をかけたくても不可）

DEMO

まとめ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
34 1. AWS IoT Analyticsを利⽤して効率的にIoTデータ分析基盤を構築することができる。 ①DynamoDBやS3を使わなくてもデータ保持はできる。 2. IoT Analyticsのできること／できないことを理解して、⾼速なアプリ開発を。 3. 現場的には⾊々と細かい点のアップデートを所望しております。お願いします＞AWSさん

AWS IoT Analyticsで効率的な開発を楽しもう︕ Evolve the Earth with Emotion of Technology

サーバレスでDynamoDBレスなIoTアプリ開発

サーバレスでDynamoDBレスなIoTアプリ開発

More Decks by Koji Ishida

Other Decks in Technology

Featured

Transcript