Zephyr(RTOS)にEdge AIを組み込んでみた話

ミソジ　2025/10/20
Zephyr Project meetup: Osaka, Japan
#ZephyrRTOS

Transcript

1. Zephyr(RTOS)に Edge AIを組み込んでみた話 ミソジ　2025/10/20 Zephyr Project meetup: Osaka, Japan #ZephyrRTOS
2. 自己紹介 名前： ミソジ　@misoji_engineer ブログ: エンジニアの電気屋さん(https://misoji-engineer.com/) ハードウェアのエンジニアで、趣味でブログとか書いてます
3. アジェンダ 
 • Zephyr + Edge AIのきっかけ (ハードウェアの開発コンペ) 
 
 • 開発コンペ:Edge AI Earth Guardians
 
 • Edge Impulse を使った簡単なモデル作成例の紹介
 
 • 3rd パーティのボード(XIAO nRF54L15など)を使う上での注意点 
 
 • まとめ + プチ宣伝 Zephyrで簡単にEdge AIを試してみた内容を紹介します
4. Zephyr + Edge AI のきっかけ (ハードウェアの開発コンテスト)
5. ハードウェアの開発コンテスト 2022年 第5回AIエッジコンテスト https://signate.jp/competitions/537 RISC-Vを使用した自動車走行画像認識 2023年 第6回AIエッジコンテスト https://signate.jp/competitions/732 RISC-Vを使用した自動車走行時の画像・点群データによる3D物体検出 2024年 AMD Pervasive AI Developer Contest https://www.hackster.io/contests/amd2023 360° Object Detection Robot Car 2025年 Board Designer Competition https://www.hackster.io/contests/board-designer Maker's nRF54L15 Debug Board BLE Audio Design Challenge https://www.hackster.io/contests/SonicSprint Adaptive Directional BLE Audio Speaker *BLE…Bluetooth Low Energy Edge AI Earth Guardians https://www.hackster.io/contests/earthguardians Edge AI on Zephyr: ULP Acoustic Monitoring for Wildlife 趣味 + 実力試しで、よく参加しています。 今年はどれも Zephyr(RTOS) 実装してます
6. 最近参加したコンペ 2022年 第5回AIエッジコンテスト https://signate.jp/competitions/537 RISC-Vを使用した自動車走行画像認識 2023年 第6回AIエッジコンテスト https://signate.jp/competitions/732 RISC-Vを使用した自動車走行時の画像・点群データによる3D物体検出 2024年 AMD Pervasive AI Developer Contest https://www.hackster.io/contests/amd2023 360° Object Detection Robot Car 2025年 Board Designer Competition https://www.hackster.io/contests/board-designer Maker's nRF54L15 Debug Board BLE Audio Design Challenge https://www.hackster.io/contests/SonicSprint Adaptive Directional BLE Audio Speaker *BLE…Bluetooth Low Energy Edge AI Earth Guardians https://www.hackster.io/contests/earthguardians Edge AI on Zephyr: ULP Acoustic Monitoring for Wildlife Zephyr(RTOS) + Edge AIでの音声認識をしてみました ちょうど最近 (2025年8月～9月)
7. 開発コンぺ Edge AI Earth Guardians
8. Edge AI Earth Guardians ▪ざっくりコンペ概要 ・「野生動物の密猟防止」「森・海のモニタリング」など、環境のテーマなら何でもOK ・良い基板設計プロジェクト提案したものは、$500の基板作成費用サポート。 ・低消費電力、EdgeへのAI実装したプロジェクトを募集 Edge AI Foundation が主催。 「環境」がテーマ (完走して) 現在レビュー中... 2025年8月～9月 Edge AI Earth Guardians https://www.hackster.io/contests/earthguardians Edge AI on Zephyr: ULP Acoustic Monitoring for Wildlife
9. クマ(熊)の出没をテーマにしました ▪日本でも最近話題です。 ただ海外の方でも似た テーマの方がいました。 全世界共通の 問題のようです... クマ(熊)の声を音声認識 + 低消費電力のバッテリー駆動 プロジェクトURL: https://www.hackster.io/iotengineer22/edge-ai-on-zephyr-ulp-acoustic-monitoring-for-wildlife-e31cdd
10. 8/2週目 8/3週目 8/4週目 9/1週目 9/2週目 9/3週目 9/4週目 回路図作成 パターン設計 基板作成 (NextPcb) デバッグ ドキュメント コンテストの期間 趣味の1.5月で、基板開発～デバッグ実装～ドキュメント作成 ・2025/8/4 プロジェクト承認 生板作成(2層) 実装・輸送 ・2025/8/11 回路図・パターン完成 ・2025/8/20 基板到着 ・2025/9/25 プロジェクト納期 環境構築・技術調査 (実機)デバッグ ドキュメント・デモビデオ 今回は長期休暇(お盆)があったので、まだ時間に余裕あり。 ただ納期短縮のため、「簡単な市販モジュール」+「簡単な2層基板」の構成。
11. メインは市販のモジュール ▪最近発売されたモジュール 　 XIAO nRF54L15 Sense Zephyrを実装して、低消費電力 + Edge AIのテスト https://www.zephyrproject.org/ ▪低電力IoT向け、オープンソース 　 Zephyr(RTOS) + https://wiki.seeedstudio.com/xiao_nrf54l15 _sense_getting_started/ 低電力 Wireless SoC (Nordic nRF54L15) ・マイク ・加速度センサ 内蔵モジュール 2025/7 発売
12. ハードウェア構成 ▪見栄えを考慮して フクロウ(梟)の型の 基板にしました バッテリ搭載 + ステート表示できるように、基板を設計 (KiCadデータ置いた)GitHub: https://github.com/iotengineer22/edge-aI-earth/tree/main
13. デモビデオ https://youtu.be/C1XkCEpDAo8
14. Zephyrの良いところ① 数mA以下を狙える、低消費電力のRTOS　*Edge AI含めて ▪今回モジュールを使ったけど、チップから基板設計すれば、Idleから消費電力削れる。
15. Zephyrの良いところ② 無線に強い。　Edge AI + 通信 が1チップで完結する ▪今回は長距離のBluetooth LE (Coded_S8)をテスト。 他にも、WifiやLTEなどの無線のライブラリも豊富。
16. https://www.zephyrproject.org/ + RTOS for Low-spec devices XIAO nRF54L15 Sense ・Cortex-M33_128MHz ・256KB_RAM / 1.5MB_Flash ・XIAO nRF52840 Sense ・Cortex-M4F_64MHz ・256KB_RAM /1MB_Flash + or Zephyrの良いところ③ 低容量のRAM・ROMに入るRTOS。　エッジデバイスに最適 ▪AIのモデル含めて、KBレベルのRAM・ROMに入る。 ローエンドのCPUでOK　
17. Edge Impulse を使った 簡単なモデル作成例
18. Edge Impulse ▪ざっくり概要 ・センサーデータからAIモデル（機械学習モデル）を簡単に作成できる ・マイコンなどのエッジデバイス向けの軽量なモデルを作成 → Zephyrに組み込む 「Edge Impulse」…軽量のAIモデル開発プラットフォーム https://www.zephyrproject.org/ https://edgeimpulse.com/ 2025/3 に Qualcommが買収
19. どんなモデルが作れるの？ ▪加速度センサ・マイクを使った「ジェスチャー認識」、「音声認識」のテストを紹介。　 ジェスチャー・画像・音声などの、軽量AIモデルが作成が可能 https://edgeimpulse.com/ 加速度センサ 、マイク 内蔵モジュール XIAO nRF54L15 Sense
20. Edge Impulseのざっくりデモビデオ https://youtu.be/AWGq6TQrmcY
21. 軽量のAIモデルをZephyrに組み込む ▪ざっくり概要 ・音声認識…マイクを1秒データ保存→推論のループ ・ジェスチャー認識…加速度センサx,y,zを2秒データ保存→推論のループ プログラム・手順はGitHub・ブログに公開済。 Edge Impulseでビルドしたデータ 音声認識・ジェスチャー認識のZephyrプロジェクト SDK、パラメータ、 モデルをコピー
22. GitHub・ブログのリンク先 ▪GitHub zephyr-ei-xiao-nrf-demo https://github.com/iotengineer22/zephyr-ei-xiao-nrf-demo □ブログ記事 Edge Impulseで加速度センサ値を学習(XIAO nRF54L15 Sense編) https://misoji-engineer.com/archives/xiao-nrf54l15-accel-sensor.html Edge ImpulseをZephyr(RTOS)とC++の環境に実装する https://misoji-engineer.com/archives/edge-impulse-zephyr.html 趣味+雑に作った物なので、本当に参考までに
23. 音声認識のモデル作成例
24. 簡単な音声認識のモデル例(1) ▪「Yes」「No」「Up」「Down」...などの簡単な音声データセットを利用できます　 オープンなデータから、簡単にテストできます https://github.com/tensorflow/tflite-micro/tree/main/te nsorflow/lite/micro/examples/micro_speech/train TFLite-Microのサンプル音声データ ・Up ・Down ・Right ・Left 先述のコンペのプレテストで 使っていました
25. 簡単な音声認識のモデル例(2) ▪Edge Impulse上で音声データ収集→学習がそのまま可能です PCとマイクからの音声データも使えます ”Nagoya" +
26. 音声認識のデモ例 https://youtu.be/IbxTMiPwFTU
27. ジェスチャー認識のモデル作成例
28. 簡単なジェスチャー認識のモデル例 ▪加速度センサの値をそのままEdge Impulseでモデル学習に使えます　 Edge Impulse上でデバイスのセンサ値を利用できます 加速度センサ(X,Y,Z) 104Hzで取得
29. ジェスチャー認識のデモ例 https://youtu.be/FqW0INMxQlg
30. 3rdパーティのボード(XIAO nRF54L15など)を 使う上での注意点
31. 環境構築は特に大事 ▪最近発売されたモジュール 　 XIAO nRF54L15 Sense ソフト環境(Ver)は3rdパーティの公式と基本合わせた方が良い □大分前に発売されたモジュール 　 XIAO nRF52840 Sense 推奨ビルド環境 …ZephyrでのWest 推奨ビルド環境 …NordicのnRF Connect 現在はv.3.0.1 https://www.zephyrproject.org/ https://www.nordicsemi.jp/tools/nrfconnectsdk/ 両方ともマイク、加速度センサ内蔵で便利だけど ...。 ・Cortex-M33_128MHz ・256KB_RAM / 1.5MB_Flash ・Cortex-M4F_64MHz ・256KB_RAM /1MB_Flash 推奨環境が違うので注意 2025/7 発売
32. あるある失敗例 • nRF Connectで書き込めるけど、ZephyrのWestだと書き込めないケース 　　　 (基本westだったら何でも出来ると思うけど。そうじゃない…) 　　　　M33のARM TrustZone-Mの処理が絡んでくる場合もある • 環境を変えてビルドは通るんだけど、書き込めないケース (これが地味に一番困る) • ｎRF ConnectのVerを3.01→3.11に上げると書き込めないケース (何気なく３rdパーティの公式が書いてある手順・Verが本当に重要) • 書き込んでいると内部のNVMがロックされるケース。→Factory_Resetする必要あった (3rdパーティ品の新発売のモジュールは人柱になる覚悟が必要)　 　　　　対策ブログ記事:https://misoji-engineer.com/archives/xiao-nrf54l15-factory-reset.html • 似たような型番多いけど、内部IC構造とかチップの影響で出来ること、出来ないことがあるケース (nRF54L15は104Hzの加速度センサ値をシリアル経由で引き出せたけど、nRF52840は無理だった) • バッテリー駆動の3.7V経由だと動作が安定しないケース 上手く出来なかったこと。書ききれない... 犠牲にされかけた XIAO nRF54L15 x4
33. まとめ
34. ・XIAO nRF54L15(nRF52840) Sense はセンサ内蔵 　(加速度センサ、マイクが入っており、テストしやすいです) ・Zephyr + Edge AI も簡単にテストできます 　(Edge Impulse を使って、軽量の組み込みモデルが作れます) ・良かったら開発コンペで競うライバルになりませんか！ 　(苦行だけどハードウェアのコンペ、結構面白いですよ。) まとめ Zephyr で Edge AI を簡単？にテストできた！
35. 2025/12/8(月)　2件、報告してきます。 ・Challenging Hardware Contests with Zephyr and Lessons Learned 　(ハードウェアのコンペでZephyr使って、学んだまとめ内容。　30分セッション) ・Debugging Edge AI on Zephyr and Lessons Learned 　(今日話した件に+αした内容。　10分ライトニングトーク） 宣伝① Open Source Summit Japan 2025 に参加します https://events.linuxfoundation.org/o pen-source-summit-japan/
36. 「名古屋」でもZephyrのmeetupをやりたいと考えています。 東海圏の方、今日の勉強会オモシロイなと思った方は、また参加お願いします。 宣伝② Zephyr Project meetup: Nagoya 検討中です (2026/冬～春頃？) + https://www.zephyrproject.org/
37. 最後に ご清聴ありがとうございました。