IoTサービスのエッジからクラウドまでServerlessFrameworkで構築する / Deploying-IoT-Service-from-Edge-to-Cloud-with-ServerlessFramework

Serverless Meetup Japan Virtual ＃4
#serverlessjp

IoTサービスのエッジからクラウドまでServerlessFrameworkで構築する

Transcript

1. 1 Copyright © Acroquest Technology Co., Ltd. All rights reserved. IoTサービスの エッジからクラウドまで Serverless Framework で構築する 2020/08/12 Acroquest Technology Co., Ltd. 鈴木 貴典 Serverless Meetup Japan Virtual #4
2. 本日の話のポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2 サーバーレスなIoTサービスで クラウド側だけでなく エッジ側の構成も踏まえて 高速なデプロイフローを構築する
3. 前提 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 ① クラウド環境はAWSを利用 ② Serverless Framework でデプロイを実施 ③ エッジ側のデバイスはそれなりスペックが必要 ※CPU > 1GHz-ARM/x86, メモリ > 128MB RAM ※Raspberry Pi であれば問題なし
4. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4 自己紹介 ◼ 所属 • Acroquest Technology Co., Ltd. ◼ 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ ◼ バックグラウンド • エンタープライズ／ミッションクリティカル • SEPG／開発／マネジメント • Java／Python 鈴木 貴典 シニアテクニカルアーキテクト Acro = 先端を quest = 探究する
5. 今回のIoTサービスの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 AWS IoT Greengrass Core Lambda Function AWS IoT Core AWS Lambda Amazon DynamoDB IoT Rule エッジデバイス （Raspberry Pi） AWS Cloud Raspberry Pi のモニタリング情報をエッジ側で取得し 定期的にクラウドに通知 それをクラウド側では時系列データとして保存 CPU温度、CPU使用率、メモリ使用率 などを計測し、クラウドに通知 受信したデータを随時保存 MQTT
6. AWS IoT Core IoTデバイスとAWSクラウドの 双方向通信を可能にし、 デバイスとのメッセージングや データ同期などを実現するサービス • デバイスとのセキュアな接続管理 • デバイスの状態の同期 • メッセージブローカーとして振る舞い、 デバイスとのMQTTメッセージング処理を実施 • デバイスからのメッセージ処理や、他AWSの サービスとの統合を可能にするSQLベースの ルールエンジン • デバイスに対するジョブ実行の定義と管理 など
7. AWS IoT Greengrass • Lambda 関数のデプロイとデバイス上での実行 • センサー群とLambda関数とのMQTTメッセージング • Lambda関数とAWS IoTとのMQTTメッセージング • デバイスとAWSクラウド間のセキュアな接続 • Dockerコンテナのサポート など エッジデバイス上で動作し、 AWS IoT 関連のサービスと連携した メッセージングやデータ管理などを 実現するモジュール
8. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 Analytics Kinesis Data Stream Kinesis Data Firehose Elasticsearch Service SNS SQS Step Functions Integration Lambda IoT Analytics IoT Events Compute S3 CloudWatch DynamoDB IoT その他 IoT Core IoT Greengrass IoT Core を通して 様々なAWSの マネージドサービスと シームレスに連携可能
9. 今回のIoTサービスの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 AWS IoT Greengrass Core Lambda Function AWS IoT Core AWS Lambda Amazon DynamoDB IoT Rule エッジデバイス （Raspberry Pi） AWS Cloud CPU温度、CPU使用率、メモリ使用率 などを計測し、クラウドに通知 受信したデータを随時保存 MQTT クラウド側はサンプルも多く 構築しやすい
10. 今回のIoTサービスの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 AWS IoT Greengrass Core Lambda Function AWS IoT Core AWS Lambda Amazon DynamoDB IoT Rule エッジデバイス （Raspberry Pi） AWS Cloud CPU温度、CPU使用率、メモリ使用率 などを計測し、クラウドに通知 受信したデータを随時保存 MQTT 毎回デプロイするの大変 （デバイスに手動でデプロイ）
11. Lambda関数 on Greengrass のデプロイ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 デバイス AWSコンソール Lambda関数の登録 バージョン／エイリアスの作成 GreengrassへのLambda追加 GreengrassでのLambda動作設定 サブスクリプション（メッセージ送信）設定 デプロイ実行 デプロイ メッセージ送信 Lambda関数 on Greengrass 特有の手順
12. Lambda のバージョン／エイリアス機能 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 Lambda 関数のバージョン バージョンを使用して、AWS Lambda 関数のデプロイを 管理できます。たとえば、安定した実稼働バージョンの ユーザーに影響を与えることなく、ベータテスト用の 新しいバージョンの関数を公開できます。 Lambda 関数のエイリアス AWS Lambda 関数の 1 つ以上のエイリアスを作成でき ます。Lambda エイリアスは Lambda 関数の特定の バージョンに対するポインタのようなものです。 ユーザーはエイリアス ARN を使用して関数バージョンに アクセスできます。
13. Lambda関数 on Greengrass のデプロイ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 GreengrassへのLambdaのデプロイ時は エイリアス or バージョンの指定が必須
14. Lambda関数 on Greengrass のデプロイ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 GreengrassへのLambdaのデプロイ時は エイリアス or バージョンの指定が必須 $LATEST は指定できず Lambda か Greengrass のデプロイ時に 毎回指定を変更する必要がある
15. エッジ側の処理は 実際に動かしてみないと 分からないことも多い ↓ 何度もデプロイする ことになる
16. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16
17. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 高速なサーバーレス開発サイクルを実現したい Serverless Framework を使って クラウド側もデバイス側も “いい感じ” にデプロイしたい
18. Serverless Framework を使っての対応 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 18 AWS IoT Core AWS IoT Greengrass AWS Lambda Events で 標準対応可能 serverless-plugin-greengrass を使って対応可能 https://github.com/daaru00/serverless-plugin-greengrass
19. Serverless Framework を使っての対応 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 19 AWS IoT Greengrass Core Lambda Function AWS IoT Core AWS Lambda Amazon DynamoDB IoT Rule エッジデバイス （Raspberry Pi） AWS Cloud ロジックとなる部分（デプロイを繰り返す部分）は Serverless Framework を使ってデプロイ可能 CPU温度、CPU使用率、メモリ使用率 などを計測し、クラウドに通知 受信したデータを随時保存 MQTT
20. Serverless Framework の定義 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 functions: pisys_save_messages: handler: pisys_handler.save_message_handler events: - iot: sql: "SELECT * FROM 'gg-example/+/monitor'" Lambda関数 IoT Core ルール クラウド側の定義（IoT Core／Lambda）
21. AWSコンソールでの定義した場合 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21 IoT Core のルール設定
22. Serverless Framework の定義 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 22 custom: greengrass: groupId: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx autoDeploy: false defaults: pinned: false memorySize: 16384 # （=16MB） encodingType: json Greengrass グループID sls deploy 時に Greegrassまで デプロイするか エッジ側の定義（Greengrass）①
23. Serverless Framework の定義 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 23 functions: pisys_monitor: handler: pisys_monitor_gg_handler.function_handler greengrass: pinned: true accessSysfs: true subscriptions: - target: "cloud" subject: gg-example/# Lambda関数 on Greengrass Lambdaのライフサイクル -> false: オンデマンド -> true : 無制限に実行 エッジ側の定義（Greengrass）② /sysにアクセス可能か サブスクリプションの定義
24. AWSコンソールでの定義した場合 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 Greengrass での Lambda 設定
25. Lambda関数 on Greengrass のデプロイ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 25 デバイス AWSコンソール sls deploy sls greengrass deploy デプロイ メッセージ送信 シンプルなデプロイフローを実現 Serverless Framework を使ってデプロイを簡単に （serverless-plugin-greengrass 込み）
26. まとめ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 26 AWSでのIoTサービスに対して Serverless Framework を活用したデプロイフローを検討 ① AWS IoT Core ＋ AWS IoT Greengrass を活用 ② これによって、クラウド側のデプロイだけでなく、 エッジ側へのLambdaのデプロイも自動化 ③ IoTサービスの開発において、デプロイの手間が かかる部分も解消され、サーバーレスのメリットが拡大 ④ 開発サイクルも高速化
27. 付録 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 27 ⚫ AWS IoT Core ドキュメント • https://docs.aws.amazon.com/iot/index.html ⚫ AWS IoT Greengrass ドキュメント • https://docs.aws.amazon.com/greengrass/index.html ⚫ 今回のサンプル • https://github.com/takanorig/aws-greengrass-lambda
28. ご清聴ありがとうございました。 Evolve the Earth with Emotion of Technology Copyright © Acroquest Technology Co., Ltd. All rights reserved. 28