用Raspberry Pi玩轉Edge AI

Slide 1

Slide 1 text

1 用 Raspberry Pi 玩轉 Edge AI 台灣樹莓派 2024/05/17 @Make AI a Reality

Slide 2

Slide 2 text

姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 — 你必須給予適當表彰、提供指向本授權條款的連結，以及指出（本作品的原始版本）是否已被變更。你可以任何合理方式為前述表彰，但不得以任何方式暗示授權人為你或你的使用方式背書。非商業性 — 你不得將本素材進行商業目的之使用。相同方式分享 — 若你重混、轉換本素材，或依本素材建立新素材，你必須依本素材的授權條款來散布你的貢獻物。

Slide 3

Slide 3 text

3 ● Raspberry Pi 官方經銷商 ● 專注 Raspberry Pi 應用與推廣 , 舉辦社群活動關於我們

Slide 4

Slide 4 text

4 ● Edge AI 介紹 ● Raspberry Pi 介紹 ● 從 YOLO 看 Raspberry Pi 的 Edge AI ● 結語大綱

Slide 5

Slide 5 text

5 Internet of Things https://www.youtube.com/watch?v=KUwif0Z8Ot4

Slide 6

Slide 6 text

6 ● 智慧手環內的 IMU 收到加速度 / 角速度資訊 ● 原始數據透過 LPWA 低功耗技術傳到雲端運算姿態 ● 使用者透過儀表板看到各種姿態結果 IoT 情境 / 智慧手環 https://www.youtube.com/watch?v=KUwif0Z8Ot4

Slide 7

Slide 7 text

7 ● 但由於頻寬或電力限制 , 通常只傳送取樣後的資料 IoT 情境 / 智慧手環 https://www.youtube.com/watch?v=KUwif0Z8Ot4

Slide 8

Slide 8 text

8 ● 如果可以即時做訊號運算 , 會有更多有趣的發現 ● 並且只傳送推論後的結果將降低資料傳送量 IoT 情境 / 智慧手環 https://www.youtube.com/watch?v=KUwif0Z8Ot4 tinyML/Edge AI

Slide 9

Slide 9 text

9 ● 機器學習 ( 處理結構化資料 ): 資料 > 特徵擷取 > 模型 > 答案 ● 深度學習 ( 處理非結構化資料 ): 資料 > 模型 ( 特徵擷取自學 )> 答案機器學習 vs. 深度學習 https://bit.ly/3VFLRs9

Slide 10

Slide 10 text

運算量對應適合的 ARM 系列處理器 https://www.arm.com/blogs/blueprint/ai-for-iot-devices 資料輸入量振動偵測關鍵字偵測感測器融合異常偵測物件偵測 Cortex-M Today Cortex-M55 手勢偵測生物識別語音辨識物件分類即時辨識 Cortex-M and Ethon-U55 Cortex-A, Mali And Ethon-N 運算量 TOP/S

Slide 11

Slide 11 text

● 信用卡大小般的電腦 Raspberry Pi 是什麼 ? http://www.flickr.com/photos/fotero/7697063016/

Slide 12

Slide 12 text

● Raspberrypi.org 基金會所設計開發 ● 公開的 datasheet & 線路圖 & 原始碼 ● 以低價硬體 & 自由軟體刺激電腦科學教育 Raspberry Pi 是 ...

Slide 13

Slide 13 text

Raspberry Pi Family https://infosec.exchange/@slh/102368284825610438 最早量產最多人使用

Slide 14

Slide 14 text

14 ● 更快 :CPU 從 1.4GHz 升級到 1.5GHz ● 更多選擇 : 記憶體有 1G/2G/4G/8G 可選 Raspberry Pi 4 在 2019/6/24 發布 https://www.raspberrypi.org/blog/raspberry-pi-4-on-sale-now-from-35/

Slide 15

Slide 15 text

15 初期主要是創客或學校使用 https://www.raspberrypi.com/news/vote-top-20-raspberry-pi-projects-magpi/

Slide 16

Slide 16 text

16 用 Raspberry Pi 或 CM 量產的產品 https://pallavaggarwal.in/10-products-using-raspberry-pi-compute-module/

Slide 17

Slide 17 text

你不知道的 i 郵箱 https://www.facebook.com/groups/raspberrypi.taiwan/posts/1557558384430791/

Slide 18

Slide 18 text

Raspberry Pi Edge AI

Slide 19

Slide 19 text

● YOLO 是 Joseph Redmon 在 2015 年基於深度學習的物體檢測演算法 , 高效並能即時檢測 YOLO v1 https://arxiv.org/pdf/1506.02640.pdf

Slide 20

Slide 20 text

● 2023 年由 Ultralytics 釋出 , 更快更準確 ● 強大的泛化能力 , 在不同的資料集和應用場景中表現穩定 ● 支援主流深度學習框架 , 如 PyTorch 和 TensorFlow YOLO v8 https://github.com/ultralytics/ultralytics

Slide 21

Slide 21 text

● 有物件偵測、分割、姿態偵測、分類等預訓練模型多種模型可選 https://docs.ultralytics.com/models/yolov8/

Slide 22

Slide 22 text

● 整合資料蒐集、標記、訓練、佈署模型 Ultralytics 一條龍服務 https://docs.ultralytics.com/modes/export/

Slide 23

Slide 23 text

● # raspios_full_arm64-2024-03-15.img ● $ sudo apt-get update ● $ python3 -m venv yolov8-venv ● $ source ~/yolov8-venv/bin/activate ● $ pip3 install ultralytics 安裝容易 https://docs.ultralytics.com/quickstart/

Slide 24

Slide 24 text

24 範例程式 from ultralytics import YOLO model = YOLO("model.pt") results = model.predict("image.jpg") ● print(results)

Slide 25

Slide 25 text

● $ python3 yolov8.py v8s.pt 1280x720.mp4 Pi 4/2GB + YOLOv8 初體驗

Slide 26

Slide 26 text

No content

Slide 27

Slide 27 text

● $ python3 yolov8.py v8n.pt 1280x720.mp4 模型從 YOLOv8s.pt 到 YOLOv8n.pt

Slide 28

Slide 28 text

● $ python3 yolov8.py v8n.pt 320x180.mp4 解析度從 1280x720 到 320x180

Slide 29

Slide 29 text

29 全新 Pi 5 在 2023/09/23 發布

Slide 30

Slide 30 text

硬體新設計 https://www.elecrow.com/blog/raspberry-pi-5-vs-raspberry-pi-4-what-are-their-differences.html

Slide 31

Slide 31 text

● Pi 4: Broadcom BCM2711 quad-core Cortex- A72 (ARM v8), 64-bit SoC @ 1.8GHz (28nm) ● Pi 5: Broadcom BCM2712 quad-core Cortex- A77 (ARM v8), 64-bit SoC @ 2.4GHz (16nm) ● 數字提昇約 33% ● 實際約提昇 2-3 倍全新 BCM2712 處理器

Slide 32

Slide 32 text

Pi 4 和 Pi 5 的效能評比 https://www.raspberrypi.com/news/benchmarking-raspberry-pi-5/

Slide 33

Slide 33 text

● $ python3 yolov8.py v8n.pt 640x360.mp4 Pi 5/8GB + YOLOv8

Slide 34

Slide 34 text

● 使用 Google Edge TPU coprocessor ● 4 TOPS (int8); 2 TOPS per watt ● 有物件偵測、分割、姿態偵測、分類等預訓練模型 ● 只支援 tflite-tpu 格式 Google Coral USB Accelerator https://coral.ai/docs/edgetpu/models-intro/#compatibility-overview

Slide 35

Slide 35 text

● $ python3 yolov8.py 192.tflite 640x360.mp4 使用 Accelerator 加速運算

Slide 36

Slide 36 text

DEMO

Slide 37

Slide 37 text

USB3.0 有更大的頻寬 https://www.hackster.io/news/the-big-benchmarking-roundup-a561fbfe8719 單位 : 毫秒

Slide 38

Slide 38 text

● $ python3 yolov8.py 192.tflite 640x360.mp4 接在 USB3.0 可發揮全速 21.32

Slide 39

Slide 39 text

● Raspberry Pi AI Camera(SONY IMX500, 12MP) 還可以再快嗎？ https://reurl.cc/QRZWdO

Slide 40

Slide 40 text

● 每一種裝置都有適合的場景發揮運算能力 ● 適當的優化技巧 , 也可以讓 Raspberry Pi 很 AI ● 邊緣的事 , 就交給邊緣運算的設備去做結語

Slide 41

Slide 41 text

41 Raspberry Pi Rocks the World Thanks