Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
IoTサービスのエッジからクラウドまでServerlessFrameworkで構築する / Deploying-IoT-Service-from-Edge-to-Cloud-with-ServerlessFramework
Search
Takanori Suzuki
August 12, 2020
Technology
0
260
IoTサービスのエッジからクラウドまでServerlessFrameworkで構築する / Deploying-IoT-Service-from-Edge-to-Cloud-with-ServerlessFramework
Serverless Meetup Japan Virtual #4
#serverlessjp
IoTサービスのエッジからクラウドまでServerlessFrameworkで構築する
Takanori Suzuki
August 12, 2020
Tweet
Share
More Decks by Takanori Suzuki
See All by Takanori Suzuki
ChatGPTとKarateで実現するシン・BDD / Realizing New BDD through ChatGPT and Karate
takanorig
2
2.6k
KarateによるBDDベースのAPIテスト / BDD based API-Testing with Karate
takanorig
1
430
AIカメラで社内販売の品切れを検知して残念な結果になるのを回避した話 / Detecting out of stock items with using AI Camera
takanorig
0
1.8k
フル・サーバーレスでサービスを作る話 / Make the full-stack-serverless service
takanorig
1
240
[SORACOMUG]S+Cameraを利用して在庫チェックをやってみた / InventoryManagement-with-SORACOM-SCAMERA
takanorig
0
57
Karateによる UI Test Automation 革命 / UITests-Automation-with-Karate
takanorig
0
140
スマート工場に向けたIoTデータ分析の実際のところ / SmartFactory-IoT-Data-Analytics
takanorig
0
83
人生がときめくAPIテスト自動化 with Karate / SparkingJoy-for-API-Testing-Automation-with-Karate
takanorig
0
470
マイクロサービスにおけるテスト自動化 with Karate / Microservices-Testing-Automation-with-Karate
takanorig
1
1.6k
Other Decks in Technology
See All in Technology
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
1.3k
SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、PDCAサイクルを回してみた
coconala_engineer
0
340
競技としてのKaggle、役に立つKaggle
yu4u
3
1.9k
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
300
Java EE/Jakarta EEの現状と将来―クラウドネイティブ時代にJava EEは対応できるのか?―
takakiyo
1
170
LayerXにおけるLLMプロダクト開発の今までとこれから
layerx
PRO
1
390
Google Cloud Next '24でブログを10本書いた方法と勉強会を沸かせた方法
yasumuusan
0
310
KubeCon EU 2024 Recap “Kubernetes Policy Time Machine: Where to Next?”
ryysud
0
220
Além do else! Categorizando Pokemóns com Pattern Matching no JavaScript
wmsbill
0
640
Compose Compiler Metricsを使った実践的なコードレビュー
tomorrowkey
1
220
Terraformあれやこれ/terraform-this-and-that
emiki
8
1.4k
Janus
bkuhlmann
1
490
Featured
See All Featured
Done Done
chrislema
178
15k
Making Projects Easy
brettharned
108
5.5k
How to train your dragon (web standard)
notwaldorf
73
5.2k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Build your cross-platform service in a week with App Engine
jlugia
225
17k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Scaling GitHub
holman
457
140k
The Pragmatic Product Professional
lauravandoore
25
5.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
13
4.6k
Navigating Team Friction
lara
178
13k
The Art of Programming - Codeland 2020
erikaheidi
42
12k
Embracing the Ebb and Flow
colly
80
4.1k
Transcript
1 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
IoTサービスの エッジからクラウドまで Serverless Framework で構築する 2020/08/12 Acroquest Technology Co., Ltd. 鈴木 貴典 Serverless Meetup Japan Virtual #4
本日の話のポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved.
2 サーバーレスなIoTサービスで クラウド側だけでなく エッジ側の構成も踏まえて 高速なデプロイフローを構築する
前提 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3 ① クラウド環境はAWSを利用 ② Serverless Framework でデプロイを実施 ③ エッジ側のデバイスはそれなりスペックが必要 ※CPU > 1GHz-ARM/x86, メモリ > 128MB RAM ※Raspberry Pi であれば問題なし
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4
自己紹介 ◼ 所属 • Acroquest Technology Co., Ltd. ◼ 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ ◼ バックグラウンド • エンタープライズ/ミッションクリティカル • SEPG/開発/マネジメント • Java/Python 鈴木 貴典 シニアテクニカルアーキテクト Acro = 先端を quest = 探究する
今回のIoTサービスの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5 AWS IoT Greengrass Core Lambda Function AWS IoT Core AWS Lambda Amazon DynamoDB IoT Rule エッジデバイス (Raspberry Pi) AWS Cloud Raspberry Pi のモニタリング情報をエッジ側で取得し 定期的にクラウドに通知 それをクラウド側では時系列データとして保存 CPU温度、CPU使用率、メモリ使用率 などを計測し、クラウドに通知 受信したデータを随時保存 MQTT
AWS IoT Core IoTデバイスとAWSクラウドの 双方向通信を可能にし、 デバイスとのメッセージングや データ同期などを実現するサービス • デバイスとのセキュアな接続管理 •
デバイスの状態の同期 • メッセージブローカーとして振る舞い、 デバイスとのMQTTメッセージング処理を実施 • デバイスからのメッセージ処理や、他AWSの サービスとの統合を可能にするSQLベースの ルールエンジン • デバイスに対するジョブ実行の定義と管理 など
AWS IoT Greengrass • Lambda 関数のデプロイとデバイス上での実行 • センサー群とLambda関数とのMQTTメッセージング • Lambda関数とAWS
IoTとのMQTTメッセージング • デバイスとAWSクラウド間のセキュアな接続 • Dockerコンテナのサポート など エッジデバイス上で動作し、 AWS IoT 関連のサービスと連携した メッセージングやデータ管理などを 実現するモジュール
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8
Analytics Kinesis Data Stream Kinesis Data Firehose Elasticsearch Service SNS SQS Step Functions Integration Lambda IoT Analytics IoT Events Compute S3 CloudWatch DynamoDB IoT その他 IoT Core IoT Greengrass IoT Core を通して 様々なAWSの マネージドサービスと シームレスに連携可能
今回のIoTサービスの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
9 AWS IoT Greengrass Core Lambda Function AWS IoT Core AWS Lambda Amazon DynamoDB IoT Rule エッジデバイス (Raspberry Pi) AWS Cloud CPU温度、CPU使用率、メモリ使用率 などを計測し、クラウドに通知 受信したデータを随時保存 MQTT クラウド側はサンプルも多く 構築しやすい
今回のIoTサービスの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10 AWS IoT Greengrass Core Lambda Function AWS IoT Core AWS Lambda Amazon DynamoDB IoT Rule エッジデバイス (Raspberry Pi) AWS Cloud CPU温度、CPU使用率、メモリ使用率 などを計測し、クラウドに通知 受信したデータを随時保存 MQTT 毎回デプロイするの大変 (デバイスに手動でデプロイ)
Lambda関数 on Greengrass のデプロイ Copyright © Acroquest Technology Co., Ltd.
All rights reserved. 11 デバイス AWSコンソール Lambda関数の登録 バージョン/エイリアスの作成 GreengrassへのLambda追加 GreengrassでのLambda動作設定 サブスクリプション(メッセージ送信)設定 デプロイ実行 デプロイ メッセージ送信 Lambda関数 on Greengrass 特有の手順
Lambda のバージョン/エイリアス機能 Copyright © Acroquest Technology Co., Ltd. All rights
reserved. 12 Lambda 関数のバージョン バージョンを使用して、AWS Lambda 関数のデプロイを 管理できます。たとえば、安定した実稼働バージョンの ユーザーに影響を与えることなく、ベータテスト用の 新しいバージョンの関数を公開できます。 Lambda 関数のエイリアス AWS Lambda 関数の 1 つ以上のエイリアスを作成でき ます。Lambda エイリアスは Lambda 関数の特定の バージョンに対するポインタのようなものです。 ユーザーはエイリアス ARN を使用して関数バージョンに アクセスできます。
Lambda関数 on Greengrass のデプロイ Copyright © Acroquest Technology Co., Ltd.
All rights reserved. 13 GreengrassへのLambdaのデプロイ時は エイリアス or バージョンの指定が必須
Lambda関数 on Greengrass のデプロイ Copyright © Acroquest Technology Co., Ltd.
All rights reserved. 14 GreengrassへのLambdaのデプロイ時は エイリアス or バージョンの指定が必須 $LATEST は指定できず Lambda か Greengrass のデプロイ時に 毎回指定を変更する必要がある
エッジ側の処理は 実際に動かしてみないと 分からないことも多い ↓ 何度もデプロイする ことになる
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17
高速なサーバーレス開発サイクルを実現したい Serverless Framework を使って クラウド側もデバイス側も “いい感じ” にデプロイしたい
Serverless Framework を使っての対応 Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 18 AWS IoT Core AWS IoT Greengrass AWS Lambda Events で 標準対応可能 serverless-plugin-greengrass を使って対応可能 https://github.com/daaru00/serverless-plugin-greengrass
Serverless Framework を使っての対応 Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 19 AWS IoT Greengrass Core Lambda Function AWS IoT Core AWS Lambda Amazon DynamoDB IoT Rule エッジデバイス (Raspberry Pi) AWS Cloud ロジックとなる部分(デプロイを繰り返す部分)は Serverless Framework を使ってデプロイ可能 CPU温度、CPU使用率、メモリ使用率 などを計測し、クラウドに通知 受信したデータを随時保存 MQTT
Serverless Framework の定義 Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 20 functions: pisys_save_messages: handler: pisys_handler.save_message_handler events: - iot: sql: "SELECT * FROM 'gg-example/+/monitor'" Lambda関数 IoT Core ルール クラウド側の定義(IoT Core/Lambda)
AWSコンソールでの定義した場合 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
21 IoT Core のルール設定
Serverless Framework の定義 Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 22 custom: greengrass: groupId: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx autoDeploy: false defaults: pinned: false memorySize: 16384 # (=16MB) encodingType: json Greengrass グループID sls deploy 時に Greegrassまで デプロイするか エッジ側の定義(Greengrass)①
Serverless Framework の定義 Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 23 functions: pisys_monitor: handler: pisys_monitor_gg_handler.function_handler greengrass: pinned: true accessSysfs: true subscriptions: - target: "cloud" subject: gg-example/# Lambda関数 on Greengrass Lambdaのライフサイクル -> false: オンデマンド -> true : 無制限に実行 エッジ側の定義(Greengrass)② /sysにアクセス可能か サブスクリプションの定義
AWSコンソールでの定義した場合 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
24 Greengrass での Lambda 設定
Lambda関数 on Greengrass のデプロイ Copyright © Acroquest Technology Co., Ltd.
All rights reserved. 25 デバイス AWSコンソール sls deploy sls greengrass deploy デプロイ メッセージ送信 シンプルなデプロイフローを実現 Serverless Framework を使ってデプロイを簡単に (serverless-plugin-greengrass 込み)
まとめ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
26 AWSでのIoTサービスに対して Serverless Framework を活用したデプロイフローを検討 ① AWS IoT Core + AWS IoT Greengrass を活用 ② これによって、クラウド側のデプロイだけでなく、 エッジ側へのLambdaのデプロイも自動化 ③ IoTサービスの開発において、デプロイの手間が かかる部分も解消され、サーバーレスのメリットが拡大 ④ 開発サイクルも高速化
付録 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
27 ⚫ AWS IoT Core ドキュメント • https://docs.aws.amazon.com/iot/index.html ⚫ AWS IoT Greengrass ドキュメント • https://docs.aws.amazon.com/greengrass/index.html ⚫ 今回のサンプル • https://github.com/takanorig/aws-greengrass-lambda
ご清聴ありがとうございました。 Evolve the Earth with Emotion of Technology Copyright ©
Acroquest Technology Co., Ltd. All rights reserved. 28