Slide 1

Slide 1 text

Raspberry Pi AI HAT+ 2 介紹 台灣樹莓派 2026/02/09 @Raspberry Pi Meetup #49

Slide 2

Slide 2 text

姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 — 你必須給予 適當表彰、提供指向本授權 條款的連結,以及 指出(本作品的原始版本)是否已 被變更。你可以任何合理方式為前述表彰,但不得以 任何方式暗示授權人為你或你的使用方式背書。 非商業性 — 你不得將本素材進行商業目的之使 用。 相同方式分享 — 若你重混、轉換本素材,或依本 素材建立新素材,你必須依本素材的授權條款來 散布你的貢獻物。

Slide 3

Slide 3 text

3 ● Raspberry Pi 官方經銷商 ● 專注 Raspberry Pi 應用與推廣 , 舉辦社群活動 關於我們

Slide 4

Slide 4 text

● COSCUP, MakerConf, PyCon, HKOSCon 講者 ● 投影片 ● https://speakerdeck.com/piepie_tw ● 程式碼 ● https://github.com/piepie-tw ● 台灣樹莓派網站 : ● https://piepie.com.tw/ ● Facebook: ● https://www.facebook.com/RaspberryPi.Taiwan 分享 x 教學

Slide 5

Slide 5 text

5 ● Raspberry Pi AI HAT+ 2 介紹 ● 規格介紹 / 比較 ● 安裝設定 ● 展示 ● 教學資源 大綱

Slide 6

Slide 6 text

6 ● 從 AI Kit 到 AI HAT+ ● 原本 AI Kit 包含 M.2 HAT+ 和 Hailo-8L NPU 模 組 ( 不分售 ), 現在整合在同一個 HAT+ ● AI Kit 支援 M.2 2230/2242 樣式 Raspberry Pi AI HAT+

Slide 7

Slide 7 text

● Hailo 在 2017 年由以色列國防單位成員創立 ● 專注於人工智慧的晶片製造商 ● 產品包含 AI accelerators 和 AI vision processors ● AI HAT+(13 TOPS/26 TOPS) 都是台灣製造 ● Hailo-8 和 Hailo-8L 是不同產品 ● Hailo-8L 算力為 13 TOPS, 低功耗適合邊緣加速 ● Hailo-8 算力為 26 TOPS, 具有更高性能

Slide 8

Slide 8 text

● 都和影像 (Vision) 相關 適合的 AI HAT+ 應用?

Slide 9

Slide 9 text

9 ● 2026/01/15 發布 Raspberry Pi AI HAT+ 2 https://www.jeffgeerling.com/blog/2026/raspberry-pi-ai-hat-2/

Slide 10

Slide 10 text

10 ● 遵循 HAT+ 規格 ● Hailo-10H 加速器具有 40 TOPS(INT4) 推理效能 ● 板載 8GB LPDDR4 記憶體 ● 使用 PCIe 和主板通訊 , 目前只支援 Pi 5 ● 2.5W 功耗 AI HAT+ 2 硬體規格

Slide 11

Slide 11 text

11 ● 支援多種影像任務 ( 偵測 / 分割 / 姿態 / 深度 ) ● 板載的 8GB 專用於 AI 工作負載 ● 支援 LLM 和 VLM 應用 ● 文字生成 ● 翻譯 ● 語音轉文字 ● 視覺場景理解 AI HAT+ 2 應用場景

Slide 12

Slide 12 text

12 AI HAT+ vs. AI HAT+ 2 https://www.raspberrypi.com/documentation/accessories/ai-hat-plus.html

Slide 13

Slide 13 text

開箱 AI HAT+ 2

Slide 14

Slide 14 text

完整安裝 ( 可外加 Active Cooler) https://www.waveshare.com/raspberry-pi-ai-hat-plus-2.htm ● 產品有附黑色散熱片 , Active Cooler 需另外購買

Slide 15

Slide 15 text

● 一個 Docker 包含四個 Hailo 核心軟體 ● 1. Hailo Model Zoo(Vision + GenAI) ● 2. Hailo Applications (TAPPAS High- Performance Application Toolkit) ● 3. Hailo Runtime(Hailo RT) ● 4. Dataflow Compiler(DFC) Hailo 一體式方案簡化 AI 開發流程 https://hailo.ai/blog/how-software-can-streamline-customer-experience-in-edge-ai/

Slide 16

Slide 16 text

Hailo 一體式方案簡化 AI 開發流程

Slide 17

Slide 17 text

Hailo Model Zoo https://hailo.ai/blog/how-software-can-streamline-customer-experience-in-edge-ai/ ● 提供多種 pre-trained 模型 , 開箱即用 ● 支援 TensorFlow 或是 ONNX 格式

Slide 18

Slide 18 text

Hailo Model Zoo GenAI ● 支援多種 GenAI 模型 (deepseek/llama3/qween2.5) ● 可使用 REST API 存取 Ollama, 如 ChatGPT 體驗 ● 提供多種工具做 LoRA 或 Fine-Tune 模型

Slide 19

Slide 19 text

TAPPAS = Template APPlications And Solutions https://github.com/hailo-ai/tappas/

Slide 20

Slide 20 text

● 將客製化模型或是 Model Zoo 整合到視覺管道 利用 HailoRT 和 GStreamer 框架 https://hailo.ai/blog/how-software-can-streamline-customer-experience-in-edge-ai/

Slide 21

Slide 21 text

● 硬體版本 :Raspberry Pi 5/16GB ● 作業系統 :2025-12-04-raspios-trixie-arm64-full 今日環境

Slide 22

Slide 22 text

● $ sudo apt-get update ● $ sudo apt-get install dkms ● $ sudo apt-get install hailo-h10-all 安裝設定 ( 用 apt 安裝只能裝到 5.1.1)

Slide 23

Slide 23 text

搭配 Hailo Develepor Zone 下載

Slide 24

Slide 24 text

確認安裝設定完成

Slide 25

Slide 25 text

Hailo 10H 支援的模型類型 https://github.com/hailo-ai/hailo-apps/blob/main/doc/user_guide/installation.md

Slide 26

Slide 26 text

Hailo 10H 支援的 LLM 模型 https://www.tomshardware.com/raspberry-pi/raspberry-pi-ai-hat-plus-2-review

Slide 27

Slide 27 text

Hailo 10H 支援的 VLM/ASR 模型 https://github.com/hailo-ai/hailo_model_zoo_genai/blob/main/docs/MODELS.rst

Slide 28

Slide 28 text

DEMO

Slide 29

Slide 29 text

Hailo Ollam Server

Slide 30

Slide 30 text

LLM Open WebUI

Slide 31

Slide 31 text

deepseek 翻譯

Slide 32

Slide 32 text

● 使用 OpenAI Whisper 模型 , 支援 100+ 語言 Whisper ASR

Slide 33

Slide 33 text

● Qwen2-VL 是阿里通義千問視覺模型 , 特色有 ● 視覺理解 : 可分析物體 / 文字 / 圖表和佈局的能力 ● 智慧代理能力 : 可作視覺代理 , 具備推理能力 ● 長影片理解 : 可理解超過 1 小時影片 ● 視覺定位 : 可用邊界框或點定位圖片中的物體 ● 結構化輸出生成 : 可為發票、表格做結構化輸出 Qwen2-VL VLM

Slide 34

Slide 34 text

Qwen2-VL VLM

Slide 35

Slide 35 text

35 ● 無法同時推論兩種模型 ( 但可以串接 ) ● 微調 LLM, 可使用 LoRA(Low-Rank Adaptation) ● 記憶體持續漲價 , 可能會有便宜版本 , 或是又漲價 目前遇到的挑戰

Slide 36

Slide 36 text

● https://www.raspberrypi.com/documentation/ computers/ai.html ● https://github.com/hailo-ai/hailo-apps ● https://github.com/hailo-ai/hailo_model_zoo ● https://github.com/hailo-ai/hailo_model_zoo_genai ● https://github.com/hailo-ai/tappas/ ● https://hailo.ai/developer-zone/documentation/ 教學資源

Slide 37

Slide 37 text

● @RaspberryPi 贊助 Raspberry Pi Beginner's Guide ● @ 台灣樹莓派提供 EDA Pi 5 開放式散熱外殼抽獎 ● @ 台灣樹莓派提供微雪工業級 USB 轉 TTL 傳輸線抽獎 ● @RICELEE 提供 Pico 2 抽獎 ● @RICELEE 提供原廠 microSD 記憶卡 (32GB) 抽獎 ● @Creative5 贊助 USB 小禮物 感謝乾爹們~

Slide 38

Slide 38 text

Raspberry Pi Rocks the World Thanks