Slide 1

Slide 1 text

Zephyr(RTOS)に Edge AIを組み込んでみた話 ミソジ 2025/10/20 Zephyr Project meetup: Osaka, Japan #ZephyrRTOS

Slide 2

Slide 2 text

自己紹介 名前: ミソジ @misoji_engineer ブログ: エンジニアの電気屋さん(https://misoji-engineer.com/) ハードウェアのエンジニアで、趣味でブログとか書いてます

Slide 3

Slide 3 text

アジェンダ 
 • Zephyr + Edge AIのきっかけ (ハードウェアの開発コンペ) 
 
 • 開発コンペ:Edge AI Earth Guardians
 
 • Edge Impulse を使った簡単なモデル作成例の紹介
 
 • 3rd パーティのボード(XIAO nRF54L15など)を使う上での注意点 
 
 • まとめ + プチ宣伝 Zephyrで簡単にEdge AIを試してみた内容を紹介します

Slide 4

Slide 4 text

Zephyr + Edge AI のきっかけ (ハードウェアの開発コンテスト)

Slide 5

Slide 5 text

ハードウェアの開発コンテスト 2022年 第5回AIエッジコンテスト https://signate.jp/competitions/537 RISC-Vを使用した自動車走行画像認識 2023年 第6回AIエッジコンテスト https://signate.jp/competitions/732 RISC-Vを使用した自動車走行時の画像・点群データによる3D物体検出 2024年 AMD Pervasive AI Developer Contest https://www.hackster.io/contests/amd2023 360° Object Detection Robot Car 2025年 Board Designer Competition https://www.hackster.io/contests/board-designer Maker's nRF54L15 Debug Board BLE Audio Design Challenge https://www.hackster.io/contests/SonicSprint Adaptive Directional BLE Audio Speaker *BLE…Bluetooth Low Energy Edge AI Earth Guardians https://www.hackster.io/contests/earthguardians Edge AI on Zephyr: ULP Acoustic Monitoring for Wildlife 趣味 + 実力試しで、よく参加しています。 今年はどれも Zephyr(RTOS) 実装してます

Slide 6

Slide 6 text

最近参加したコンペ 2022年 第5回AIエッジコンテスト https://signate.jp/competitions/537 RISC-Vを使用した自動車走行画像認識 2023年 第6回AIエッジコンテスト https://signate.jp/competitions/732 RISC-Vを使用した自動車走行時の画像・点群データによる3D物体検出 2024年 AMD Pervasive AI Developer Contest https://www.hackster.io/contests/amd2023 360° Object Detection Robot Car 2025年 Board Designer Competition https://www.hackster.io/contests/board-designer Maker's nRF54L15 Debug Board BLE Audio Design Challenge https://www.hackster.io/contests/SonicSprint Adaptive Directional BLE Audio Speaker *BLE…Bluetooth Low Energy Edge AI Earth Guardians https://www.hackster.io/contests/earthguardians Edge AI on Zephyr: ULP Acoustic Monitoring for Wildlife Zephyr(RTOS) + Edge AIでの音声認識をしてみました ちょうど最近 (2025年8月~9月)

Slide 7

Slide 7 text

開発コンぺ Edge AI Earth Guardians

Slide 8

Slide 8 text

Edge AI Earth Guardians ■ざっくりコンペ概要 ・「野生動物の密猟防止」「森・海のモニタリング」など、環境のテーマなら何でもOK ・良い基板設計プロジェクト提案したものは、$500の基板作成費用サポート。 ・低消費電力、EdgeへのAI実装したプロジェクトを募集 Edge AI Foundation が主催。 「環境」がテーマ (完走して) 現在レビュー中... 2025年8月~9月 Edge AI Earth Guardians https://www.hackster.io/contests/earthguardians Edge AI on Zephyr: ULP Acoustic Monitoring for Wildlife

Slide 9

Slide 9 text

クマ(熊)の出没をテーマにしました ■日本でも最近話題です。 ただ海外の方でも似た テーマの方がいました。 全世界共通の 問題のようです... クマ(熊)の声を音声認識 + 低消費電力のバッテリー駆動 プロジェクトURL: https://www.hackster.io/iotengineer22/edge-ai-on-zephyr-ulp-acoustic-monitoring-for-wildlife-e31cdd

Slide 10

Slide 10 text

8/2週目 8/3週目 8/4週目 9/1週目 9/2週目 9/3週目 9/4週目 回路図作成 パターン設計 基板作成 (NextPcb) デバッグ ドキュメント コンテストの期間 趣味の1.5月で、基板開発~デバッグ実装~ドキュメント作成 ・2025/8/4 プロジェクト承認 生板作成(2層) 実装・輸送 ・2025/8/11 回路図・パターン完成 ・2025/8/20 基板到着 ・2025/9/25 プロジェクト納期 環境構築・技術調査 (実機)デバッグ ドキュメント・デモビデオ 今回は長期休暇(お盆)があったので、まだ時間に余裕あり。 ただ納期短縮のため、「簡単な市販モジュール」+「簡単な2層基板」の構成。

Slide 11

Slide 11 text

メインは市販のモジュール ■最近発売されたモジュール   XIAO nRF54L15 Sense Zephyrを実装して、低消費電力 + Edge AIのテスト https://www.zephyrproject.org/ ■低電力IoT向け、オープンソース   Zephyr(RTOS) + https://wiki.seeedstudio.com/xiao_nrf54l15 _sense_getting_started/ 低電力 Wireless SoC (Nordic nRF54L15) ・マイク ・加速度センサ 内蔵モジュール 2025/7 発売

Slide 12

Slide 12 text

ハードウェア構成 ■見栄えを考慮して フクロウ(梟)の型の 基板にしました バッテリ搭載 + ステート表示できるように、基板を設計 (KiCadデータ置いた)GitHub: https://github.com/iotengineer22/edge-aI-earth/tree/main

Slide 13

Slide 13 text

デモビデオ https://youtu.be/C1XkCEpDAo8

Slide 14

Slide 14 text

Zephyrの良いところ① 数mA以下を狙える、低消費電力のRTOS *Edge AI含めて ■今回モジュールを使ったけど、チップから基板設計すれば、Idleから消費電力削れる。

Slide 15

Slide 15 text

Zephyrの良いところ② 無線に強い。 Edge AI + 通信 が1チップで完結する ■今回は長距離のBluetooth LE (Coded_S8)をテスト。 他にも、WifiやLTEなどの無線のライブラリも豊富。

Slide 16

Slide 16 text

https://www.zephyrproject.org/ + RTOS for Low-spec devices XIAO nRF54L15 Sense ・Cortex-M33_128MHz ・256KB_RAM / 1.5MB_Flash ・XIAO nRF52840 Sense ・Cortex-M4F_64MHz ・256KB_RAM /1MB_Flash + or Zephyrの良いところ③ 低容量のRAM・ROMに入るRTOS。 エッジデバイスに最適 ■AIのモデル含めて、KBレベルのRAM・ROMに入る。 ローエンドのCPUでOK 

Slide 17

Slide 17 text

Edge Impulse を使った 簡単なモデル作成例

Slide 18

Slide 18 text

Edge Impulse ■ざっくり概要 ・センサーデータからAIモデル(機械学習モデル)を簡単に作成できる ・マイコンなどのエッジデバイス向けの軽量なモデルを作成 → Zephyrに組み込む 「Edge Impulse」…軽量のAIモデル開発プラットフォーム https://www.zephyrproject.org/ https://edgeimpulse.com/ 2025/3 に Qualcommが買収

Slide 19

Slide 19 text

どんなモデルが作れるの? ■加速度センサ・マイクを使った「ジェスチャー認識」、「音声認識」のテストを紹介。  ジェスチャー・画像・音声などの、軽量AIモデルが作成が可能 https://edgeimpulse.com/ 加速度センサ 、マイク 内蔵モジュール XIAO nRF54L15 Sense

Slide 20

Slide 20 text

Edge Impulseのざっくりデモビデオ https://youtu.be/AWGq6TQrmcY

Slide 21

Slide 21 text

軽量のAIモデルをZephyrに組み込む ■ざっくり概要 ・音声認識…マイクを1秒データ保存→推論のループ ・ジェスチャー認識…加速度センサx,y,zを2秒データ保存→推論のループ プログラム・手順はGitHub・ブログに公開済。 Edge Impulseでビルドしたデータ 音声認識・ジェスチャー認識のZephyrプロジェクト SDK、パラメータ、 モデルをコピー

Slide 22

Slide 22 text

GitHub・ブログのリンク先 ■GitHub zephyr-ei-xiao-nrf-demo https://github.com/iotengineer22/zephyr-ei-xiao-nrf-demo □ブログ記事 Edge Impulseで加速度センサ値を学習(XIAO nRF54L15 Sense編) https://misoji-engineer.com/archives/xiao-nrf54l15-accel-sensor.html Edge ImpulseをZephyr(RTOS)とC++の環境に実装する https://misoji-engineer.com/archives/edge-impulse-zephyr.html 趣味+雑に作った物なので、本当に参考までに

Slide 23

Slide 23 text

音声認識のモデル作成例

Slide 24

Slide 24 text

簡単な音声認識のモデル例(1) ■「Yes」「No」「Up」「Down」...などの簡単な音声データセットを利用できます  オープンなデータから、簡単にテストできます https://github.com/tensorflow/tflite-micro/tree/main/te nsorflow/lite/micro/examples/micro_speech/train TFLite-Microのサンプル音声データ ・Up ・Down ・Right ・Left 先述のコンペのプレテストで 使っていました

Slide 25

Slide 25 text

簡単な音声認識のモデル例(2) ■Edge Impulse上で音声データ収集→学習がそのまま可能です PCとマイクからの音声データも使えます ”Nagoya" +

Slide 26

Slide 26 text

音声認識のデモ例 https://youtu.be/IbxTMiPwFTU

Slide 27

Slide 27 text

ジェスチャー認識のモデル作成例

Slide 28

Slide 28 text

簡単なジェスチャー認識のモデル例 ■加速度センサの値をそのままEdge Impulseでモデル学習に使えます  Edge Impulse上でデバイスのセンサ値を利用できます 加速度センサ(X,Y,Z) 104Hzで取得

Slide 29

Slide 29 text

ジェスチャー認識のデモ例 https://youtu.be/FqW0INMxQlg

Slide 30

Slide 30 text

3rdパーティのボード(XIAO nRF54L15など)を 使う上での注意点

Slide 31

Slide 31 text

環境構築は特に大事 ■最近発売されたモジュール   XIAO nRF54L15 Sense ソフト環境(Ver)は3rdパーティの公式と基本合わせた方が良い □大分前に発売されたモジュール   XIAO nRF52840 Sense 推奨ビルド環境 …ZephyrでのWest 推奨ビルド環境 …NordicのnRF Connect 現在はv.3.0.1 https://www.zephyrproject.org/ https://www.nordicsemi.jp/tools/nrfconnectsdk/ 両方ともマイク、加速度センサ内蔵で便利だけど ...。 ・Cortex-M33_128MHz ・256KB_RAM / 1.5MB_Flash ・Cortex-M4F_64MHz ・256KB_RAM /1MB_Flash 推奨環境が違うので注意 2025/7 発売

Slide 32

Slide 32 text

あるある失敗例 ● nRF Connectで書き込めるけど、ZephyrのWestだと書き込めないケース     (基本westだったら何でも出来ると思うけど。そうじゃない…)     M33のARM TrustZone-Mの処理が絡んでくる場合もある ● 環境を変えてビルドは通るんだけど、書き込めないケース (これが地味に一番困る) ● nRF ConnectのVerを3.01→3.11に上げると書き込めないケース (何気なく3rdパーティの公式が書いてある手順・Verが本当に重要) ● 書き込んでいると内部のNVMがロックされるケース。→Factory_Resetする必要あった (3rdパーティ品の新発売のモジュールは人柱になる覚悟が必要)      対策ブログ記事:https://misoji-engineer.com/archives/xiao-nrf54l15-factory-reset.html ● 似たような型番多いけど、内部IC構造とかチップの影響で出来ること、出来ないことがあるケース (nRF54L15は104Hzの加速度センサ値をシリアル経由で引き出せたけど、nRF52840は無理だった) ● バッテリー駆動の3.7V経由だと動作が安定しないケース 上手く出来なかったこと。書ききれない... 犠牲にされかけた XIAO nRF54L15 x4

Slide 33

Slide 33 text

まとめ

Slide 34

Slide 34 text

・XIAO nRF54L15(nRF52840) Sense はセンサ内蔵  (加速度センサ、マイクが入っており、テストしやすいです) ・Zephyr + Edge AI も簡単にテストできます  (Edge Impulse を使って、軽量の組み込みモデルが作れます) ・良かったら開発コンペで競うライバルになりませんか!  (苦行だけどハードウェアのコンペ、結構面白いですよ。) まとめ Zephyr で Edge AI を簡単?にテストできた!

Slide 35

Slide 35 text

2025/12/8(月) 2件、報告してきます。 ・Challenging Hardware Contests with Zephyr and Lessons Learned  (ハードウェアのコンペでZephyr使って、学んだまとめ内容。 30分セッション) ・Debugging Edge AI on Zephyr and Lessons Learned  (今日話した件に+αした内容。 10分ライトニングトーク) 宣伝① Open Source Summit Japan 2025 に参加します https://events.linuxfoundation.org/o pen-source-summit-japan/

Slide 36

Slide 36 text

「名古屋」でもZephyrのmeetupをやりたいと考えています。 東海圏の方、今日の勉強会オモシロイなと思った方は、また参加お願いします。 宣伝② Zephyr Project meetup: Nagoya 検討中です (2026/冬~春頃?) + https://www.zephyrproject.org/

Slide 37

Slide 37 text

最後に ご清聴ありがとうございました。