Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【四国クラウドお遍路 2024 in 高知】AWSのIoTサービスを駆使して異常検出デモを作っ...

Toshiki Terai
September 06, 2024
270

【四国クラウドお遍路 2024 in 高知】AWSのIoTサービスを駆使して異常検出デモを作ったお話_DENET寺井_20240907

AWSのIoTサービスを駆使して、IoTデバイス × Lookout for Visionを用いた異常検出システムを構築したお話について。
AWS IoT CoreやLookout for Visionを組み合わせ、エッジデバイスでリアルタイムに異常を検知し、クラウドでデータを処理・可視化。IoTに触れるためのキッカケとなるTipsなどについてもご紹介。

Toshiki Terai

September 06, 2024
Tweet

More Decks by Toshiki Terai

Transcript

  1. 2 自己紹介 • 名前 • 寺井 俊喜(テライ トシキ) • 所属

    • 株式会社ディーネット(2022/12~) • AWS 提案・設計・構築 • 好きなこと • 音楽、猫、お酒、ゲーム、効率化 • 好きなAWSサービス • Amazon EventBridge • SNS/ブログ • X(@TeraiToshiki) • DENET技術ブログ(t.terai) 1年後 1年後
  2. 14 結局なにやってんの??(図解) Jetson Nano ①検知 ②撮影 コンテナの1番目が あらへんわ!! 赤 外

    線 セ ン サ ー ここだけコンテナが無い ① 列車の通過をセンサーで検知 ② センサーの検知をトリガーに車体を撮影 ③ コンテナの乗せ忘れ(異常)を検出 ④ +α 検出結果をIoT Core経由でAWSへ送信 結果データ AWS Cloud ④結果送信 ③異常検出
  3. 15 補足:物理コンポーネント紹介 ⚫ コンテナ車 異常検出の対象。 4つの荷台すべてにコンテナを乗せられていることを正常とする。 ⚫ センサーユニット 赤外線センサーによりコンテナ車の通過を検知し、Jetson Nano

    に通知します。Raspberry Pi Picoで実装。 ⚫ 撮影台 コンテナ車を俯瞰して撮影することで全体を写真に収めます。 ⚫ Jetson Nano GPU搭載小型コンピュータ。NVIDIA製。OSはUbuntu。 全体の制御や異常検出モデルの実行など物理側の処理全般を担い ます。
  4. 21 全体構成図 - 大まかな機能グループ別色分け ストリームデータ処理 時系列データ格納・分析 蓄積データの可視化 システムエラー AWS障害 検知+通知

    IoT×AWSの連携 機械学習モデルの作成 エッジデバイスへのデプロイ エッジデバイスでの リアルタイム異常検出 (オフラインで検出可能)
  5. 22 全体構成図 - 大まかな機能グループ別色分け システムエラー AWS障害 検知+通知 ⑤ストリームデータ処理 時系列データ格納・分析 ⑥蓄積データの可視化

    ①IoT×AWSの連携 ②機械学習モデルの作成 ③エッジデバイスへのデプロイ ④エッジデバイスでの リアルタイム異常検出 (オフラインで検出可能)
  6. 23 ①IoT×AWSの連携(IoT Core <Topic, Rule, Action>) ➢ エッジデバイスからIoT Coreのエンドポ イントへ結果データをパブリッシュ

    (MQTTプロトコル) ➢ 特定Topicへのデータ到着をトリガーに IoT Ruleで定義したActionを実行
  7. 24 ②機械学習モデルの作成(Lookout for Vision, SageMaker Ground Truth) ➢ S3に格納したテストデータ(実際の写真) を用いてSageMaker

    Ground Truthでア ノテーション作業 (異常箇所を覚えさせる) ➢ Lookout for Visionで異常検出モデルとし てコンポーネント化
  8. 31 ④エッジデバイスでのリアルタイム異常検出(Lookout for Vision) ➢ エッジデバイス(Jetson nano)上 のLookout for Visionモデルで異

    常検出 ➢ ラズパイ、センサー、カメラを組 み合わせてローカル環境で異常検 出処理が完結
  9. 37 ⑤ストリームデータ処理(Dynamo DB Stream, Lambda, Timestream) ➢ IoT ActionでDynamo DBへ

    異常検出結果を書き込み ➢ Dynamo DB StreamでLambda をトリガーしてデータ分析と Timestreamへの書き込み ➢ Bedrock(Claude3.5)で集約した データから車両の傾向分析