【四国クラウドお遍路 2024 in 高知】AWSのIoTサービスを駆使して異常検出デモを作ったお話_DENET寺井_20240907

AWSのIoTサービスを駆使して、IoTデバイス × Lookout for Visionを用いた異常検出システムを構築したお話について。
AWS IoT CoreやLookout for Visionを組み合わせ、エッジデバイスでリアルタイムに異常を検知し、クラウドでデータを処理・可視化。IoTに触れるためのキッカケとなるTipsなどについてもご紹介。

Transcript

1. ~IoT は誰でも簡単に始められる ~ 2024年9月7日 四国クラウドお遍路 2024 in 高知 株式会社ディーネット 寺井 AWSのIoTサービスを駆使して 異常検出デモを作ったお話
2. 2 自己紹介 • 名前 • 寺井 俊喜（テライ トシキ） • 所属 • 株式会社ディーネット（2022/12~） • AWS 提案・設計・構築 • 好きなこと • 音楽、猫、お酒、ゲーム、効率化 • 好きなAWSサービス • Amazon EventBridge • SNS/ブログ • X（@TeraiToshiki） • DENET技術ブログ（t.terai） 1年後 1年後
3. 会社概要 Copyright © Digital-Effect Network CO.,LTD. All Rights Reserved. 3
4. ディーネットについて Copyright © Digital-Effect Network CO.,LTD. All Rights Reserved. 4
5. 5 今年で３回目の登壇 （ありがとうございます。） 四国クラウドお遍路 2022-ノーコード時代の 今だからこそ地方のクラウド活用再入門- 2022-11-12 開催 四国クラウドお遍路 2023 - 四国の外のモノサシを知ってみよう - 2023-09-16 開催
6. 今日お話ししたいこと 6
7. IoTは意外と取っつきやすい(AWSなら) 7 ⇨触ったことがない人 ぜひやってみてほしい
8. 8 1. 『AWS Summit Japan 2024』で出展したデモの紹介 2. アーキテクチャについて 3. AWSにおけるIoTの取っつきやすさのワケ 4. IoTを気軽に使えるようになるためのTips 5. まとめ アジェンダ
9. 1. 『AWS Summit Japan 2024』で 出展したデモの紹介 9
10. 10 ここら辺に設置 AWS Summit Japan 2024 ブース出展しました！
11. 11 システム概要 正常 異常 プラレールに４つのコンテナが乗っていることを正常とし、 コンテナの乗せ忘れや荷崩れを自動で検出する異常検知システムです。
12. 12 デモ動画（正常時）
13. 13 デモ動画（異常検知）
14. 14 結局なにやってんの？？（図解） Jetson Nano ①検知 ②撮影 コンテナの１番目が あらへんわ！！ 赤 外 線 セ ン サ ー ここだけコンテナが無い ① 列車の通過をセンサーで検知 ② センサーの検知をトリガーに車体を撮影 ③ コンテナの乗せ忘れ(異常)を検出 ④ +α 検出結果をIoT Core経由でAWSへ送信 結果データ AWS Cloud ④結果送信 ③異常検出
15. 15 補足：物理コンポーネント紹介 ⚫ コンテナ車 異常検出の対象。 4つの荷台すべてにコンテナを乗せられていることを正常とする。 ⚫ センサーユニット 赤外線センサーによりコンテナ車の通過を検知し、Jetson Nano に通知します。Raspberry Pi Picoで実装。 ⚫ 撮影台 コンテナ車を俯瞰して撮影することで全体を写真に収めます。 ⚫ Jetson Nano GPU搭載小型コンピュータ。NVIDIA製。OSはUbuntu。 全体の制御や異常検出モデルの実行など物理側の処理全般を担い ます。
16. 16 補足：物理コンポーネント紹介＋α ⚫ ディスプレイ 異常検出結果を出力します。Jetsonの操作時にも利用します。 ⚫ ノートPC QuickSightのダッシュボードを表示します。
17. 17 デモ動画（異常検知）※再掲
18. 2. アーキテクチャについて 18
19. 19 全体構成図
20. 20 全体構成図 - 大まかな機能グループ別色分け
21. 21 全体構成図 - 大まかな機能グループ別色分け ストリームデータ処理 時系列データ格納・分析 蓄積データの可視化 システムエラー AWS障害 検知+通知 IoT×AWSの連携 機械学習モデルの作成 エッジデバイスへのデプロイ エッジデバイスでの リアルタイム異常検出 （オフラインで検出可能）
22. 22 全体構成図 - 大まかな機能グループ別色分け システムエラー AWS障害 検知+通知 ⑤ストリームデータ処理 時系列データ格納・分析 ⑥蓄積データの可視化 ①IoT×AWSの連携 ②機械学習モデルの作成 ③エッジデバイスへのデプロイ ④エッジデバイスでの リアルタイム異常検出 （オフラインで検出可能）
23. 23 ①IoT×AWSの連携（IoT Core <Topic, Rule, Action>） ➢ エッジデバイスからIoT Coreのエンドポ イントへ結果データをパブリッシュ (MQTTプロトコル) ➢ 特定Topicへのデータ到着をトリガーに IoT Ruleで定義したActionを実行
24. 24 ②機械学習モデルの作成（Lookout for Vision, SageMaker Ground Truth） ➢ S3に格納したテストデータ(実際の写真) を用いてSageMaker Ground Truthでア ノテーション作業 (異常箇所を覚えさせる) ➢ Lookout for Visionで異常検出モデルとし てコンポーネント化
25. 25 Amazon Lookout for Visionについて 引用元：https://aws.amazon.com/jp/lookout-for-vision/ https://docs.aws.amazon.com/ja_jp/lookout-for-vision/latest/developer-guide/getting-started.html
26. 26 Amazon SageMaker Ground Truthについて 引用元：https://aws.amazon.com/jp/sagemaker/groundtruth/ アノテーション作業を行うワーカーの管理ができるようになる (外部のベンダーにアウトソーシングしたりできる) 大人数でアノテーション作業を行いたいときに便利
27. 27 緊急クエストを発令して社内でアノテーション大会を実施
28. 28 結局なにやってんの？？（おさらい） コンテナが乗っていない＝台座が見えていることを異常としている ここを学習させている
29. 29 Amazon SageMaker Ground Truth 実際のアノテーション作業の動画
30. 30 ③エッジデバイスへのデプロイ（IoT Greengrass） ➢ エッジデバイスにIoT Greengrassコアソフ トをインストールすることで、AWS環境の モデル(Lookout for Vision)をデプロイ →エッジデバイス側からAWSに取りにいっ てるイメージ
31. 31 ④エッジデバイスでのリアルタイム異常検出（Lookout for Vision） ➢ エッジデバイス(Jetson nano)上 のLookout for Visionモデルで異 常検出 ➢ ラズパイ、センサー、カメラを組 み合わせてローカル環境で異常検 出処理が完結
32. 32 Lookout for Visionの注意点 デプロイがうまくいったエッジ推論ユニットにつき $100/月 かかるので注意
33. 33 余談：何度やってもGreengrassソフトウェアがエラーとなる... (あっ...プロジェクト失敗...?) ／(^o^)＼ｵﾜﾀ
34. 34 余談：藁にもすがる思いでAWSサポート・re:Postで質問を投稿
35. 35 愚痴：Greengrassソフトウェア側のバグ引いてた
36. 36 愚痴：Greengrassソフトウェア側のバグ引いてた 今回の問題に対応したバージョンをリリースしてくれた (なんか嬉しい
37. 37 ⑤ストリームデータ処理（Dynamo DB Stream, Lambda, Timestream） ➢ IoT ActionでDynamo DBへ 異常検出結果を書き込み ➢ Dynamo DB StreamでLambda をトリガーしてデータ分析と Timestreamへの書き込み ➢ Bedrock(Claude3.5)で集約した データから車両の傾向分析
38. 38 ⑥蓄積データの可視化（QuickSight） ➢ 前述したデータをQuickSight ダッシュボードで一覧化
39. 39 全体構成図 - 大まかな機能グループ別色分け（再掲）
40. 3. AWSにおけるIoTの 取っつきやすさのワケ 40
41. 41 AWSにおけるIoTの取っつきやすさのワケ • メッセージブローカー・デバイス管理等、面倒事はAWSが請け負う • ルールエンジンで他のAWSサービスとも組み合わせ易い IoTに必要な多くのサービスをフルマネージドで提供 サーバーレスでインフラ管理の手間が省ける • サーバーの管理、スケーリング、メンテナンスを考えなくていい 低コストで始められる • サーバーレスで時間単位の課金形態がほぼない • そもそもサービスの利用料が総じて安い（気がする） （※Lookout for Visionのあたりは例外）
42. 42 5. IoTを気軽に使うためのTips
43. 43 ①IoT Coreって意外とシンプルで簡単に使えるんやで 設定ウィザード的なんが用意されとって簡単にセットアップできる
44. 44 IoTデバイス側に設置するためのサンプルコードも用意されとるし 接続とかデータのやりとりも簡単ですぐに始められるんや ①IoT Coreって意外とシンプルで簡単に使えるんやで https://github.com/aws/aws-iot-device-sdk-python-v2/blob/main/samples/mqtt5_pubsub.py
45. 45 ②IoTルールはただのマニュアルみたいなもんや ①このトピックに入ってきた 一連の動作を定義するマニュアル的なやつや SQLっぽい書き方でメッセージ処理も直感的にできんで ②このデータに対して ③このアクションをする
46. 46 合計23のアクション をサポート （2024/08/31時点） ③IoT アクションのバリエーションが豊富で便利やねん LambdaとかS3、SNSとか、いろんなAWSサービスと連携できるから やりたいことがすぐ実現できるわぁ
47. 47 デバイス認証とかデータの暗号化も証明書ベースで簡単にできるから セキュリティ面も安心やわ ④セキュリティもちゃんとしとるから安心やで
48. 48 権限管理もIAMポリシーみたいなんで設定できるから結構分かりやすいんよ ⑤デバイス管理がめっちゃ楽やねん
49. 49 さまざまな業界やユースケースでの成功事例や失敗事例が共有されとるから 大きな安心材料の一つになると思うわ ⑥IoTを使ってみた同志がぎょうさんおるから安心やで！
50. まとめ 50
51. まとめ 51 • AWSならIoTを気軽に始められる • サクッと作って、試して、ダメなら壊してやり直す クラウド(AWS)のメリットを最大限活用できる • IoTってええわぁ。
52. AWSアドバンスト コンサルティングパートナー ご清聴ありがとうございました。