IoT x エッジAI - リアルタイ ムAI活用のPoCを今すぐ始め る方法 -

Classmethod DevelopersIO 2025 Osaka 登壇資料

Transcript

1. IoT x エッジAI リアルタイムAI 活用のPoC を今すぐ始める方法 クラスメソッド株式会社 製造ビジネステクノロジー部 新澤　忠士
2. 自己紹介 👋 新澤　忠士 （にいざわ　ただし） 所属：　製造ビジネス・テクノロジー部コネクティッドカーチーム ロール：　サーバサイドエンジニア 経歴：　自動車部品メーカーを早期定年退職後、クラスメソッドに入社(2022/10) 主な活動：　JAWS-CDK 支部, Coder Dojo 明石 好きなAWS サービス：　IoT FleetWise, IoT Core, Lambda, ECS Fargate 趣味：　クルマ, 読書( 主にSF, ラノベ), ドラム, テニス
3. エッジAI とは？
4. エッジAI とは？ 「データが生まれる場所（デバイス/ 工場/ 現場） 」でエッジデバイス上でAI 推論を行うアーキテクチャ 通信遅延やプライバシー課題を回避しながら、現場で即時に判断・制御できるのが特徴 （GPT-5 調べ） こんなやつ 👉️
5. エッジAI の現状 主に製造業の現場においての話ですが。 。 。 現状は機械学習によるパターン認識の活用が主流 物体検知 音声認識 故障検知・予測
6. エッジAI の今後 LLM によるリアルタイム故障診断エンジン センサーデータやログからの根本原因特定、自然言語での説明 VLM による視覚的判断と説明 不具合の特定と説明 汚れや傷などの微妙な違いの検知 事前学習なしで、少数のOK/NG 品サンプルで製品の欠陥を検出
7. エッジLLM/VLM の課題 データ ドメインに特化した高品質なデータの蓄積 可能な限り小さいサイズのモデルで動作可能に ROI ROI の算出が困難 段階的な投資計画 人材 AI スキル不足による導入障壁の解消 従業員の教育プログラムの開発、人材採用
8. やってみる ー Small Start ー https://classmethod.jp/company/culture/
9. 今回のPoC 概要 太陽光発電システムの自動UPS 制御 いわゆる HEMS(Home Energy Management System) ぽいやつのPoC 太陽光発電の発電と蓄電池の充放電を電力使用量に応じて自動で管理
10. 今回のPoC 概要 課題 発電システムからデータを取得する機能が提供されていない 今はなき三洋電機の太陽光発電システム モニター端末はパワーコンディショナーとWiFi 接続で直近／統計データ を表示 古すぎて黄ばんでる... 👉️
11. 今回のPoC 概要 検証する内容 モニター端末の画面からデータを読み取る カメラで撮影して表示されている数値を検出 検出値をもとに他の設備を制御 クラウド連携監視（今回は未実施）
12. モニター端末の画面からデータを読み取るやつ M5Stack LLM630 Compute Kit エッジAI 向け小型コンピュート（Ubuntu 22.04 LTS 搭載） 内蔵NPU Axera 社 AX630C 3.2TOPS （INT8 ） メモリ 4GB (CPU: 2GB, NPU: 2GB) ストレージ 32GB(eMMC) ネットワーク WiFi6, 有線LAN(1GbE) 消費電力 idle:5V@0.5W, full:5V@1.5W 価格 12 千円前後 ついに今年７月から技適付きが販売開始 🎉🎉 参照: https://docs.m5stack.com/en/core/LLM630%20Compute%20Kit
13. NVIDIA Jetson Orion Nano vs AX630C
14. システム構成 家屋内ネットワーク M5Stack LLM630 Compute Kit CPU NPU 太陽光発電モニター端末 （発電量・消費量） 1. 画像キャプチャ USB カメラ VLM 2. 画像分析 Raspberry Pi 4B+ Home Assistant モニタリング ECOFLOW Delta3 Plus スマート電源プラグ TP-Link P110M デプロイ Greengrass V2 5. ON / OFF 切替 LLM 3. JSON ⽣成 4. データ送信 発電データ取得 パワーコンディショナー AWS Cloud Greengrass IoT Core データ送受信 運⽤管理
15. UPS を制御するやつ Home Assistant
16. UPS を制御するやつ Home Assistant オープンソースのスマートホーム基盤 3300+ の統合に対応。ネットワーク上のデバイスを自動検出 強力なオートメーション（条件・トリガー・アクション） Alexa/Google/HomeKit 連携にも対応 アドオンで機能拡張 モバイルアプリ対応 Greengrass コンポーネントでインストール可(awslabs)
17. 画像から数値を読取る検証
18. 太陽光発電モニター端末
19. とりあえずGemini で試してみた 「おお！楽勝！」 。 。 。そう思っていた頃もありました
20. M5Stack LLM630 Compute Kit で試す モデル： SmolVLM HuggingFace が2024 年11 月に発表したOSS 小型視覚言語モデル メモリ効率に優れ、高速な推論が可能 AX630 に最適化された"smolvlm-500M-ax630c" を使用 M5Stack 提供フレームワーク"StackFlow" で提供されているOpenAI API 互換 API を通じて利用
21. 前処理のトライ＆エラー（主にCursor with GPT-5 が) OpenCV で画像の前処理。 なかなか数値のみ鮮明に表示される状態にならな い
22. 試行錯誤でようやくたどり着いた 1. 画像を回転して、モニター画面を水平に近づける 2. 彩度を引き上げて「発電」のオレンジ色を赤色に近づける 3. グレースケール変換 4. ビット反転 5. ２値化 6. 膨張 7. 膨張結果を再度ビット反転 画像処理の素人でもAI エディタの活用すれば解決可能に
23. Home Assistant との連携 スマートプラグのON/OFF 制御 受信した発電量・消費電力の差分でスマートプラグを制御 （発電量 - 消費電力） 　＞　０：　ON (UPS のバッテリーを使わない) （発電量 - 消費電力） 　＝＜　０：　ON (UPS のバッテリーを使う)
24. 今後の展望 AWS サービスとの連携 自宅外（自動車など）からの制御 Alexa との連携（音声操作） M5Stack でAX630C の上位版AX650 を採用した製品の開発が進んでいるも よう より大きいモデルを利用できるため、分析性能の向上が見込まれる
25. ご清聴ありがとうございました