IoT x エッジAI - リアルタイムAI活用のPoCを今すぐ始める方法 -

IoT x エッジAI リアルタイムAI 活用のPoC を今すぐ始める方法クラスメソッド株式会社製造ビジネステクノロジー部新澤　忠士

自己紹介 👋 新澤　忠士（にいざわ　ただし）所属：　製造ビジネス・テクノロジー部コネクティッドカーチームロール：　サーバサイドエンジニア経歴：　自動車部品メーカーを早期定年退職後、クラスメソッドに入社(2022/10) 主な活動：　JAWS-CDK 支部, Coder
Dojo 明石好きなAWS サービス：　IoT FleetWise, IoT Core, Lambda, ECS Fargate 趣味：　クルマ, 読書( 主にSF, ラノベ), ドラム, テニス

エッジAI とは？

エッジAI とは？「データが生まれる場所（デバイス/ 工場/ 現場）」でエッジデバイス上でAI 推論を行うアーキテクチャ通信遅延やプライバシー課題を回避しながら、現場で即時に判断・制御できるのが特徴（GPT-5 調べ）
こんなやつ 👉️

エッジAI の現状主に製造業の現場においての話ですが。。。現状は機械学習によるパターン認識の活用が主流物体検知音声認識故障検知・予測

エッジAI の今後 LLM によるリアルタイム故障診断エンジンセンサーデータやログからの根本原因特定、自然言語での説明 VLM による視覚的判断と説明不具合の特定と説明汚れや傷などの微妙な違いの検知事前学習なしで、少数のOK/NG
品サンプルで製品の欠陥を検出

エッジLLM/VLM の課題データドメインに特化した高品質なデータの蓄積可能な限り小さいサイズのモデルで動作可能に ROI ROI の算出が困難段階的な投資計画人材
AI スキル不足による導入障壁の解消従業員の教育プログラムの開発、人材採用

やってみるー Small Start ー https://classmethod.jp/company/culture/

今回のPoC 概要太陽光発電システムの自動UPS 制御いわゆる HEMS(Home Energy Management System) ぽいやつのPoC
太陽光発電の発電と蓄電池の充放電を電力使用量に応じて自動で管理

今回のPoC 概要課題発電システムからデータを取得する機能が提供されていない今はなき三洋電機の太陽光発電システムモニター端末はパワーコンディショナーとWiFi 接続で直近／統計データを表示古すぎて黄ばんでる... 👉️

今回のPoC 概要検証する内容モニター端末の画面からデータを読み取るカメラで撮影して表示されている数値を検出検出値をもとに他の設備を制御クラウド連携監視（今回は未実施）

モニター端末の画面からデータを読み取るやつ M5Stack LLM630 Compute Kit エッジAI 向け小型コンピュート（Ubuntu 22.04 LTS 搭載）
内蔵NPU Axera 社 AX630C 3.2TOPS （INT8 ）メモリ 4GB (CPU: 2GB, NPU: 2GB) ストレージ 32GB(eMMC) ネットワーク WiFi6, 有線LAN(1GbE) 消費電力 idle:[email protected], full:[email protected] 価格 12 千円前後ついに今年７月から技適付きが販売開始 🎉🎉 参照: https://docs.m5stack.com/en/core/LLM630%20Compute%20Kit

NVIDIA Jetson Orion Nano vs AX630C

システム構成家屋内ネットワーク M5Stack LLM630 Compute Kit CPU NPU 太陽光発電モニター端末（発電量・消費量）
1. 画像キャプチャ USB カメラ VLM 2. 画像分析 Raspberry Pi 4B+ Home Assistant モニタリング ECOFLOW Delta3 Plus スマート電源プラグ TP-Link P110M デプロイ Greengrass V2 5. ON / OFF 切替 LLM 3. JSON ⽣成 4. データ送信発電データ取得パワーコンディショナー AWS Cloud Greengrass IoT Core データ送受信運⽤管理

UPS を制御するやつ Home Assistant

UPS を制御するやつ Home Assistant オープンソースのスマートホーム基盤 3300+ の統合に対応。ネットワーク上のデバイスを自動検出強力なオートメーション（条件・トリガー・アクション） Alexa/Google/HomeKit 連携にも対応
アドオンで機能拡張モバイルアプリ対応 Greengrass コンポーネントでインストール可(awslabs)

画像から数値を読取る検証

太陽光発電モニター端末

とりあえずGemini で試してみた「おお！楽勝！」。。。そう思っていた頃もありました

M5Stack LLM630 Compute Kit で試すモデル： SmolVLM HuggingFace が2024 年11
月に発表したOSS 小型視覚言語モデルメモリ効率に優れ、高速な推論が可能 AX630 に最適化された"smolvlm-500M-ax630c" を使用 M5Stack 提供フレームワーク"StackFlow" で提供されているOpenAI API 互換 API を通じて利用

前処理のトライ＆エラー（主にCursor with GPT-5 が) OpenCV で画像の前処理。なかなか数値のみ鮮明に表示される状態にならない

試行錯誤でようやくたどり着いた 1. 画像を回転して、モニター画面を水平に近づける 2. 彩度を引き上げて「発電」のオレンジ色を赤色に近づける 3. グレースケール変換 4. ビット反転 5.
２値化 6. 膨張 7. 膨張結果を再度ビット反転画像処理の素人でもAI エディタの活用すれば解決可能に

Home Assistant との連携スマートプラグのON/OFF 制御受信した発電量・消費電力の差分でスマートプラグを制御（発電量 - 消費電力）　＞　０：　ON
(UPS のバッテリーを使わない) （発電量 - 消費電力）　＝＜　０：　ON (UPS のバッテリーを使う)

今後の展望 AWS サービスとの連携自宅外（自動車など）からの制御 Alexa との連携（音声操作） M5Stack でAX630C の上位版AX650 を採用した製品の開発が進んでいるも
ようより大きいモデルを利用できるため、分析性能の向上が見込まれる

ご清聴ありがとうございました

IoT x エッジAI - リアルタイムAI活用のPoCを今すぐ始める方法 -

IoT x エッジAI - リアルタイムAI活用のPoCを今すぐ始める方法 -

niizawat

More Decks by niizawat

Other Decks in Technology

Featured

Transcript