Upgrade to Pro — share decks privately, control downloads, hide ads and more …

當 Raspberry Pi 遇到 AI

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.

當 Raspberry Pi 遇到 AI

這是我們在 2025 年 MakerPRO 主辦的 MAI 開發者大會分享的主題。

MAI 開發者大會以「Make AI a Reality」為精神,希望架起AI技術與應用的橋樑,廣邀開發社群先進擔任講者,1天共14場演講,為AI開發者及AI Maker們領路,本次大會主題為「打造 Edge AI 落地實戰力」。

我們這次分享將介紹 Raspberry Pi 的軟硬體加速方案,包括 Google Coral Accelerator 做加速、使用 Raspberry Pi AI Camera、使用 Raspberry Pi AI HAT+ 和使用 ExecuTorch 軟體方案。

活動頁面
* https://maidevforum.makerpro.cc/

2024 分享內容
* https://speakerdeck.com/piepie_tw/introduction-to-raspberrypi-edge-ai-2024

Avatar for 台灣樹莓派

台灣樹莓派 PRO

February 23, 2026
Tweet

More Decks by 台灣樹莓派

Other Decks in Technology

Transcript

  1. 姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 —

    你必須給予 適當表彰、提供指向本授權 條款的連結,以及 指出(本作品的原始版本)是否已 被變更。你可以任何合理方式為前述表彰,但不得以 任何方式暗示授權人為你或你的使用方式背書。 非商業性 — 你不得將本素材進行商業目的之使 用。 相同方式分享 — 若你重混、轉換本素材,或依本 素材建立新素材,你必須依本素材的授權條款來 散布你的貢獻物。
  2. 4 • Raspberry Pi Edge AI 和加速方案 • Google Coral

    USB Accelerator • Raspberry Pi AI Camera • Raspberry Pi AI HAT+ • ExecuTorch • 結語 大綱
  3. Edge AI 可以做什麼? https://www.arm.com/blogs/blueprint/ai-for-iot-devices 資料輸入量 振動 偵測 關鍵字 偵測 感測器

    融合 異常 偵測 物件 偵測 Cortex-M Today Cortex-M55 手勢 偵測 生物 識別 語音 辨識 物件 分類 即時 辨識 Cortex-M and Ethon-U55 Cortex-A, Mali And Ethon-N 運算量 TOP/S
  4. • Raspberrypi.org 基金會所設計開發 • 公開的 datasheet & 線路圖 & 原始碼

    • 以低價硬體 & 自由軟體刺激電腦科學教育 Raspberry Pi 是 ...
  5. • Pi 4: Broadcom BCM2711 quad-core Cortex-A72 (ARM v8), 64-bit

    SoC @ 1.8GHz (28nm) • Pi 5: Broadcom BCM2712 quad-core Cortex-A76 (ARM v8), 64-bit SoC @ 2.4GHz (16nm) • 數字提昇約 33% • 實際約提昇 2-3 倍 全新 BCM2712 處理器
  6. • YOLO 是 Joseph Redmon 在 2015 年基於深度學習 的物體檢測演算法 ,

    高效並能即時檢測 YOLO v1 https://arxiv.org/pdf/1506.02640.pdf
  7. • 2023 年由 Ultralytics 釋出 , 更快更準確 • 強大的泛化能力 ,

    在不同的資料集和應用場景中表現穩定 • 支援主流深度學習框架 , 如 PyTorch 和 TensorFlow YOLO v8 https://github.com/ultralytics/ultralytics
  8. • # raspios_full_arm64-2025-05-13.img • $ sudo apt-get update • $

    python3 -m venv yolov8-venv • $ source ~/yolov8-venv/bin/activate • $ pip3 install ultralytics 安裝容易 https://docs.ultralytics.com/quickstart/
  9. • 使用 Google Edge TPU Co-Processor • 4 TOPS (INT8)

    • 有物件偵測、分割、姿態偵測、分類等預訓練模型 • 只支援 tflite-tpu 格式 Google Coral USB Accelerator https://coral.ai/docs/edgetpu/models-intro/#compatibility-overview
  10. 27 • Sensor: Sony IMX500 Intelligent Vision Sensor • Resolution:

    12.3MP (4056×3040 pixels) • Input tensor maximum size: 640(H)×640(V) • FOV: 66x52 degree • F1.79 focal ratio • 整合 RP2040 管理神經網路韌體 • 適合所有型號的 Pi Raspberry Pi AI Camera 規格 https://www.raspberrypi.com/products/ai-camera/
  11. 28 • Raspberry Pi AI Camera (IMX500) Model Zoo 有

    現成 Segmentation, Classification, Detection, Pose Estimation 模型 • 可重新訓練自定義資料集 , 使用 IMX500 Converter 轉換 TensorFlow 或 PyTorch Raspberry Pi AI Camera 特色 https://developer.aitrios.sony-semicon.com/en/raspberrypi-ai-camera/documentation/imx500-converter
  12. 30 • 由 Neurala 為 SONY AITRIOS 平台訂製的版本 • 不需要寫程式就能輕鬆建立和布署

    AI 模型 Brain Builder for AITRIOS https://developer.aitrios.sony-semicon.com/en/studio/brain-builder
  13. 31 Brain Builder for AITRIOS 模型 https://developer.aitrios.sony-semicon.com/en/studio/brain-builder 偵測器模型 分類器模型 異常熱區模型

    將整個影像或特定區域分類 到預先定義的類別中 辨識和定位影像中 的多個物件 二分法決定影像是正常還是異常 並顯示特定異常區域的熱圖
  14. 41 • 1. 在 Colab 訓練自己的資料集 , 產生 best.pt •

    2. 在 Colab 做 IMX 格式轉換 , 產生 packerOut.zip • 3. 編譯 packerOut.zip 產生 network.rpk • 4. 在 Pi 用 network.rpk 和 labels.txt 推論 免費訓練自己的 YOLO 資料集流程
  15. 44 • 從 AI Kit 到 AI HAT+ • 原本

    AI Kit 包含 M.2 HAT+ 和 Hailo-8L NPU 模 組 ( 不分售 ), 現在整合在同一個 HAT+ • 原本為 M.2 2242 樣式 Raspberry Pi AI HAT+ AI Kit AI HAT+
  16. • Hailo 在 2017 年由以色列國防單位成員創立 • 專注於人工智慧的晶片製造商 • 產品包含 AI

    accelerators 和 AI vision processors • AI HAT+(13 TOPS/26 TOPS) 都是台灣製造 • Hailo-8 和 Hailo-8L 是不同產品 • Hailo-8L 算力為 13 TOPS, 低功耗適合邊緣加速 • Hailo-8 算力為 26 TOPS, 具有更高性能
  17. • 軟硬體環境 :Pi 5 + Bookworm 64-bit • $ sudo

    apt-get update • $ sudo apt-get install hailo-all 開始使用 AI HAT+
  18. • 1. Hailo Model Zoo • 2. Hailo Applications (TAPPAS

    High- Performance Application Toolkit) • 3. Hailo Runtime(Hailo RT) • 4. Dataflow Compiler(DFC) Hailo 一體式方案簡化 AI 開發流程
  19. • 提供多種 pre-trained 模型 , 開箱即用 • 支援 TensorFlow 或是

    ONNX 格式 Hailo Model Zoo https://hailo.ai/blog/how-software-can-streamline-customer-experience-in-edge-ai/
  20. • $ gst-launch-1.0 filesrc location=resources/detection0.mp4 ! qtdemux ! avdec_h264 !

    video/x-raw ! fpsdisplaysink GStreamer 讀取影片並顯示
  21. • $ gst-launch-1.0 hailomuxer name=hmux filesrc location=resources/detection0.mp4 ! qtdemux !

    avdec_h264 ! video/x-raw ! videoscale ! videoconvert ! tee name=t ! queue ! hmux.sink_0 t. ! videoconvert ! hailonet hef-path=resources/yolov6n.hef ! hailofilter so-path=resources/libyolo_hailortpp_post.so ! hmux.sink_1 hmux. ! hailooverlay ! fpsdisplaysink GStreamer 讀取影片並做物件辨識
  22. 54 • 1. 取得資料集 (Kaggle, roboflow…) • 2. Amazon EC2

    或是 Google Colab 重新訓練 • 3. 佈署模型在邊緣裝置 ( 例如 Pi5) • 4. 使用 AI Kit • 4.1 將原模型 export 成 ONNX 模型 • 4.2 建立環境 , 使用 SDK 重新編譯模型 • 5. 將模型重新佈署到邊緣裝置 訓練自己的 YOLO 資料集實際步驟
  23. AI 加速裝置比較 Google Coral USB Accelerator Raspberry Pi AI Camera

    Raspberry Pi AI HAT+ 年份 2019/03 2024/09 2024/06 公司 Google Raspberry Pi Raspberry Pi 方案 Google Edge TPU Sony IMX500 Hailo 8 連接方式 USB 3.0 FFC/CSI PCIe-3.0 算力 4 TOPS 2 TOPS 26 TOPS 特色 * 支援多種主流網路模型 * 適合所有型號的 Pi * 高算力、低價格 * 完整系統工具 缺點 * USB 3.0 限制傳輸速度 * 只支援 INT8 精度 * 無法更換鏡頭 * 需要對模型和深 度網路結構熟悉 價格 USD$60 USD$70 USD$110
  24. 58 • ExecuTorch 是 Meta 推出的輕量級推論 runtime, 使用 AOT 編譯

    + 運算圖簡化 + 量化 + 硬體加速後端 , 將模型轉 換成資源不足的裝置也可高速執行的模型格式 (.pte) • Graph Export: 由 PyTorch 將模型運算圖導出 • Lowering Ops Fusion: 將高階運算拆解成效能更好的 IR • Quantization(INT4): 縮小模型尺寸 , 降低 RAM 用量 • Backend Mapping: 將模型映射到硬體最佳化後端 , 如 XNNPACK(Arm NEON 加速 ) • 輸出成 .pte 格式 , 輕量可攜 , 可由 ExecuTorch Runtime 在各種裝置上執行 ExecuTorch https://docs.pytorch.org/executorch/stable/intro-how-it-works