當 Raspberry Pi 遇到 AI

這是我們在 2025 年 MakerPRO 主辦的 MAI 開發者大會分享的主題。

MAI 開發者大會以「Make AI a Reality」為精神，希望架起AI技術與應用的橋樑，廣邀開發社群先進擔任講者，1天共14場演講，為AI開發者及AI Maker們領路，本次大會主題為「打造 Edge AI 落地實戰力」。

我們這次分享將介紹 Raspberry Pi 的軟硬體加速方案，包括 Google Coral Accelerator 做加速、使用 Raspberry Pi AI Camera、使用 Raspberry Pi AI HAT+ 和使用 ExecuTorch 軟體方案。

活動頁面
* https://maidevforum.makerpro.cc/

2024 分享內容
* https://speakerdeck.com/piepie_tw/introduction-to-raspberrypi-edge-ai-2024

Transcript

1. 1 當 Raspberry Pi 遇到 AI 台灣樹莓派 <sosorry@piepie.com.tw> 2025/11/19 @Make AI a Reality
2. 姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 — 你必須給予 適當表彰、提供指向本授權 條款的連結，以及 指出（本作品的原始版本）是否已 被變更。你可以任何合理方式為前述表彰，但不得以 任何方式暗示授權人為你或你的使用方式背書。 非商業性 — 你不得將本素材進行商業目的之使 用。 相同方式分享 — 若你重混、轉換本素材，或依本 素材建立新素材，你必須依本素材的授權條款來 散布你的貢獻物。
3. 3 • Raspberry Pi 官方經銷商 • 專注 Raspberry Pi 應用與推廣 , 舉辦社群活動 關於我們
4. 4 • Raspberry Pi Edge AI 和加速方案 • Google Coral USB Accelerator • Raspberry Pi AI Camera • Raspberry Pi AI HAT+ • ExecuTorch • 結語 大綱
5. 5 • 先不要想這麼多 這幾年很紅的 GenAI
6. Edge AI 可以做什麼？ https://www.arm.com/blogs/blueprint/ai-for-iot-devices 資料輸入量 振動 偵測 關鍵字 偵測 感測器 融合 異常 偵測 物件 偵測 Cortex-M Today Cortex-M55 手勢 偵測 生物 識別 語音 辨識 物件 分類 即時 辨識 Cortex-M and Ethon-U55 Cortex-A, Mali And Ethon-N 運算量 TOP/S
7. • 信用卡大小般的電腦 Raspberry Pi 是什麼 ? http://www.flickr.com/photos/fotero/7697063016/
8. • Raspberrypi.org 基金會所設計開發 • 公開的 datasheet & 線路圖 & 原始碼 • 以低價硬體 & 自由軟體刺激電腦科學教育 Raspberry Pi 是 ...
9. Raspberry Pi Family https://infosec.exchange/@slh/102368284825610438 最早量產 最多人使用
10. 10 Raspberry Pi 5 在 2023/09/23 發布
11. 硬體新設計 https://www.elecrow.com/blog/raspberry-pi-5-vs-raspberry-pi-4-what-are-their-differences.html
12. • Pi 4: Broadcom BCM2711 quad-core Cortex-A72 (ARM v8), 64-bit SoC @ 1.8GHz (28nm) • Pi 5: Broadcom BCM2712 quad-core Cortex-A76 (ARM v8), 64-bit SoC @ 2.4GHz (16nm) • 數字提昇約 33% • 實際約提昇 2-3 倍 全新 BCM2712 處理器
13. Raspberry Pi Edge AI
14. • YOLO 是 Joseph Redmon 在 2015 年基於深度學習 的物體檢測演算法 , 高效並能即時檢測 YOLO v1 https://arxiv.org/pdf/1506.02640.pdf
15. • 2023 年由 Ultralytics 釋出 , 更快更準確 • 強大的泛化能力 , 在不同的資料集和應用場景中表現穩定 • 支援主流深度學習框架 , 如 PyTorch 和 TensorFlow YOLO v8 https://github.com/ultralytics/ultralytics
16. • 有物件偵測、分割、姿態偵測、分類等預訓練模型 多種模型可選 https://docs.ultralytics.com/models/yolov8/
17. • 整合資料蒐集、標記、訓練、佈署模型 Ultralytics 一條龍服務 https://docs.ultralytics.com/modes/export/
18. • # raspios_full_arm64-2025-05-13.img • $ sudo apt-get update • $ python3 -m venv yolov8-venv • $ source ~/yolov8-venv/bin/activate • $ pip3 install ultralytics 安裝容易 https://docs.ultralytics.com/quickstart/
19. 19 範例程式 from ultralytics import YOLO model = YOLO("model.pt") results = model.predict("image.jpg") • print(results)
20. • $ python3 yolov8.py v8n.pt 640x360.mp4 Raspberry Pi 5/8GB + YOLOv8
22. • 使用 Google Edge TPU Co-Processor • 4 TOPS (INT8) • 有物件偵測、分割、姿態偵測、分類等預訓練模型 • 只支援 tflite-tpu 格式 Google Coral USB Accelerator https://coral.ai/docs/edgetpu/models-intro/#compatibility-overview
23. • $ python3 yolov8.py 192.tflite 640x360.mp4 接在 USB3.0 可發揮全速 21.32
24. DEMO
25. • Embedded World 2024 首次發布 Raspberry Pi AI Camera https://reurl.cc/QRZWdO
26. 26 傳統 Camera vs. AI Camera https://www.raspberrypi.com/documentation/accessories/ai-camera.html
27. 27 • Sensor: Sony IMX500 Intelligent Vision Sensor • Resolution: 12.3MP (4056×3040 pixels) • Input tensor maximum size: 640(H)×640(V) • FOV: 66x52 degree • F1.79 focal ratio • 整合 RP2040 管理神經網路韌體 • 適合所有型號的 Pi Raspberry Pi AI Camera 規格 https://www.raspberrypi.com/products/ai-camera/
28. 28 • Raspberry Pi AI Camera (IMX500) Model Zoo 有 現成 Segmentation, Classification, Detection, Pose Estimation 模型 • 可重新訓練自定義資料集 , 使用 IMX500 Converter 轉換 TensorFlow 或 PyTorch Raspberry Pi AI Camera 特色 https://developer.aitrios.sony-semicon.com/en/raspberrypi-ai-camera/documentation/imx500-converter
29. 為 AI Camera 自訂 AI 模型
30. 30 • 由 Neurala 為 SONY AITRIOS 平台訂製的版本 • 不需要寫程式就能輕鬆建立和布署 AI 模型 Brain Builder for AITRIOS https://developer.aitrios.sony-semicon.com/en/studio/brain-builder
31. 31 Brain Builder for AITRIOS 模型 https://developer.aitrios.sony-semicon.com/en/studio/brain-builder 偵測器模型 分類器模型 異常熱區模型 將整個影像或特定區域分類 到預先定義的類別中 辨識和定位影像中 的多個物件 二分法決定影像是正常還是異常 並顯示特定異常區域的熱圖
32. 32 Brain Builder 工作流程 https://developer.aitrios.sony-semicon.com/en/studio/brain-builder
33. 33 • Roboflow 是為電腦視覺任務設計的線上資料集管 理平台 , 涵蓋各種不同的主題和應用領域 Roboflow 資料集 https://blog.roboflow.com/roboflow-100/
34. 34 Roboflow 車牌資料集範例 https://universe.roboflow.com/sosorry-ynrvk/taiwan-alpr-fork/
35. 35 Brain Builder 匯入資料集 https://universe.roboflow.com/sosorry-ynrvk/taiwan-alpr-fork/ 一萬張圖片 單一類別
36. 36 Brain Builder 預覽已標記的資料
37. 37 Brain Builder 快速訓練物件偵測
38. 38 Brain Builder 驗證訓練結果
39. 39 Brain Builder 匯出物件辨識模型
40. 40 但 Brain Builder 是付費軟體 https://developer.aitrios.sony-semicon.com/en/studio/brain-builder
41. 41 • 1. 在 Colab 訓練自己的資料集 , 產生 best.pt • 2. 在 Colab 做 IMX 格式轉換 , 產生 packerOut.zip • 3. 編譯 packerOut.zip 產生 network.rpk • 4. 在 Pi 用 network.rpk 和 labels.txt 推論 免費訓練自己的 YOLO 資料集流程
42. DEMO
43. 43 2024 的新產品 Aug Sep Oct Nov Dec Jan
44. 44 • 從 AI Kit 到 AI HAT+ • 原本 AI Kit 包含 M.2 HAT+ 和 Hailo-8L NPU 模 組 ( 不分售 ), 現在整合在同一個 HAT+ • 原本為 M.2 2242 樣式 Raspberry Pi AI HAT+ AI Kit AI HAT+
45. • Hailo 在 2017 年由以色列國防單位成員創立 • 專注於人工智慧的晶片製造商 • 產品包含 AI accelerators 和 AI vision processors • AI HAT+(13 TOPS/26 TOPS) 都是台灣製造 • Hailo-8 和 Hailo-8L 是不同產品 • Hailo-8L 算力為 13 TOPS, 低功耗適合邊緣加速 • Hailo-8 算力為 26 TOPS, 具有更高性能
46. • 軟硬體環境 :Pi 5 + Bookworm 64-bit • $ sudo apt-get update • $ sudo apt-get install hailo-all 開始使用 AI HAT+
47. 可快速開發邊緣 AI 情境 https://github.com/hailo-ai/tappas/blob/master/docs/terminology.rst
48. • 1. Hailo Model Zoo • 2. Hailo Applications (TAPPAS High- Performance Application Toolkit) • 3. Hailo Runtime(Hailo RT) • 4. Dataflow Compiler(DFC) Hailo 一體式方案簡化 AI 開發流程
50. • 提供多種 pre-trained 模型 , 開箱即用 • 支援 TensorFlow 或是 ONNX 格式 Hailo Model Zoo https://hailo.ai/blog/how-software-can-streamline-customer-experience-in-edge-ai/
51. TAPPAS = Template APPlications And Solutions https://github.com/hailo-ai/tappas/
52. • $ gst-launch-1.0 filesrc location=resources/detection0.mp4 ! qtdemux ! avdec_h264 ! video/x-raw ! fpsdisplaysink GStreamer 讀取影片並顯示
53. • $ gst-launch-1.0 hailomuxer name=hmux filesrc location=resources/detection0.mp4 ! qtdemux ! avdec_h264 ! video/x-raw ! videoscale ! videoconvert ! tee name=t ! queue ! hmux.sink_0 t. ! videoconvert ! hailonet hef-path=resources/yolov6n.hef ! hailofilter so-path=resources/libyolo_hailortpp_post.so ! hmux.sink_1 hmux. ! hailooverlay ! fpsdisplaysink GStreamer 讀取影片並做物件辨識
54. 54 • 1. 取得資料集 (Kaggle, roboflow…) • 2. Amazon EC2 或是 Google Colab 重新訓練 • 3. 佈署模型在邊緣裝置 ( 例如 Pi5) • 4. 使用 AI Kit • 4.1 將原模型 export 成 ONNX 模型 • 4.2 建立環境 , 使用 SDK 重新編譯模型 • 5. 將模型重新佈署到邊緣裝置 訓練自己的 YOLO 資料集實際步驟
55. DEMO
56. AI 加速裝置比較 Google Coral USB Accelerator Raspberry Pi AI Camera Raspberry Pi AI HAT+ 年份 2019/03 2024/09 2024/06 公司 Google Raspberry Pi Raspberry Pi 方案 Google Edge TPU Sony IMX500 Hailo 8 連接方式 USB 3.0 FFC/CSI PCIe-3.0 算力 4 TOPS 2 TOPS 26 TOPS 特色 * 支援多種主流網路模型 * 適合所有型號的 Pi * 高算力、低價格 * 完整系統工具 缺點 * USB 3.0 限制傳輸速度 * 只支援 INT8 精度 * 無法更換鏡頭 * 需要對模型和深 度網路結構熟悉 價格 USD$60 USD$70 USD$110
57. 軟體方案
58. 58 • ExecuTorch 是 Meta 推出的輕量級推論 runtime, 使用 AOT 編譯 + 運算圖簡化 + 量化 + 硬體加速後端 , 將模型轉 換成資源不足的裝置也可高速執行的模型格式 (.pte) • Graph Export: 由 PyTorch 將模型運算圖導出 • Lowering Ops Fusion: 將高階運算拆解成效能更好的 IR • Quantization(INT4): 縮小模型尺寸 , 降低 RAM 用量 • Backend Mapping: 將模型映射到硬體最佳化後端 , 如 XNNPACK(Arm NEON 加速 ) • 輸出成 .pte 格式 , 輕量可攜 , 可由 ExecuTorch Runtime 在各種裝置上執行 ExecuTorch https://docs.pytorch.org/executorch/stable/intro-how-it-works
59. 59 從 PyTorch 到 ExecuTorch https://docs.pytorch.org/executorch/stable/intro-how-it-works
60. • $ python3 yolov11.py v8n.pt 640x360.mp4 Pi 5/8GB + YOLOv11
61. • $ python3 yolov11.py v8n.pte 640x360.mp4 Pi 5/8GB + ExecuTorch YOLOv11
62. DEMO
63. • 每一種裝置都有適合的場景發揮運算能力 • 適當的優化技巧 , 也可以讓 Raspberry Pi 很 AI • 邊緣的事 , 就交給邊緣運算的設備去做 結語
64. 64 Raspberry Pi Rocks the World Thanks