Raspberry Pi Camera 3 介紹

這是樹莓派社群聚會 #35 的分享，介紹 Raspberry Pi Camera 3 的特色和架構。

購買 Raspberry Pi Camera 3。
https://www.piepie.com.tw/product/pi-camera-module-v3

台灣樹莓派社群聚會 #35。
https://raspberrypi-tw-bdfa45.kktix.cc/events/meetup35

1. Raspberry Pi Camera 3 介紹 台灣樹莓派 <sosorry@piepie.com.tw> 2023/01/16 @Raspberry Pi Meetup #35
2. 姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 — 你必須給予 適當表彰、提供指向本授權 條款的連結，以及 指出（本作品的原始版本）是否已 被變更。你可以任何合理方式為前述表彰，但不得以 任何方式暗示授權人為你或你的使用方式背書。 非商業性 — 你不得將本素材進行商業目的之使 用。 相同方式分享 — 若你重混、轉換本素材，或依本 素材建立新素材，你必須依本素材的授權條款來 散布你的貢獻物。
3. 3 • Raspberry Pi 官方經銷商 • 專注 Raspberry Pi 應用與推廣 , 舉辦社群活動 關於我們
4. • COSCUP , MakerConf, PyCon, HKOSCon 講者 • 投影片 • https://speakerdeck.com/piepie_tw • 程式碼 • https://github.com/piepie-tw • 台灣樹莓派網站 : • https://piepie.com.tw/ • Facebook: • https://www.facebook.com/RaspberryPi.Taiwan 分享 x 教學
6. 6 • Raspberry Pi Camera v3 介紹 • Sony IMX708 感光元件 • 自動對焦 (Autofocus) • 廣視場 (Wide FOV) • 標準視角和廣視場外觀比較 • 高動態範圍成像 (HDR) • 只支援 libcamera 和 picamera2 大綱
7. 7 Raspberry Pi Camera v3 https://piepie.com.tw/product/pi-camera-module-v3
8. 8 https://www.raspberrypi.com/documentation/accessories/camera.html
9. 自動對焦
10. • 自動對焦需 Sensor, Focus Motor 和 Control System 配合 • 對焦演算法是通過 PDAF 和 CDAF 的混合實現的 • IMX708 原生相位自動對焦 (PDAF, Phase Detection Autofocus) • Raspberry Pi 對比度自動對焦 (CDAF, Contrast Detection Autofocus) https://www.arducam.com/raspberry-pi-camera/autofocus/ 實現自動對焦功能的系統需求
11. libcamera-hello -t 0 --autofocus-mode continuous DEMO https://github.com/raspberrypi/libcamera-apps
12. 廣視場 (Wide FOV)
13. https://sg.cytron.io/p-raspberry-pi-camera-module-3-12mp-with-auto-focus-lens Camera v3 vs. Camera v2 16:9 ~4:3
14. https://sg.cytron.io/p-raspberry-pi-camera-module-3-12mp-with-auto-focus-lens Camera v3 vs. Camera v3 wide 75º 120º
15. HDR(High Dynamic Range Imaging)
16. HDR 是提供更大明暗差別的技術 內部曝光不足以捕捉外部細節 外部細節不清楚 開啟 HDR 功能可捕捉內部和外部細節
17. • IMX708 將 4 個像素在同一通道 (R/G/B) 上具有不同的曝 光 ( 長曝光 / 中曝光 / 短曝光 ) 在讀出後合併成一個大的 , 因此輸出限制為 3MP https://www.sony-semicon.com/en/technology/mobile/hdr.html IMX708 透過像素合成實現 HDR
18. 只支援 libcamera 和 picamera2
19. 相機硬體組成 http://www.phonearena.com/news/13MP-camera-tipped-for-Samsung-Galaxy-S-IV_id35168 1. Lens( 透鏡 ) 2. VCM( 音圈馬達 ) 3. IR-Cut( 紅外光濾片 ) 4. Sensor( 感光元件 ) 5. PCB( 印刷電路板 ) 6. ISP( 影像訊號處理器 )
20. 20 各別硬體功能 http://zhaoxuhui.top/blog/2021/10/28/image-formation-from-a-radiation-view.html
21. 每一家實做都不一樣 那樹莓派怎麼做？
22. 22 http://elinux.org/Raspberry_Pi_VideoCore_APIs
23. • BCM2835 SoC 使用 VideoCore Host Interface (VCHI) 處 理 ARM Cortex CPU 和 VideoCore IV GPU 之間的通訊 • 1. 影像從 CSI-2 進到 GPU 的 buffer • 2. GPU 對 buffer 進行後處理 • 3. myscript.py 在 CPU 使用 picamera 模組做 capture • 4. picamera 模組使用 MMAL API 執行請求 • 5. MMAL 透過 VCHI 請求 capture frame • 6. GPU 透過 DMA 將 RAM 資料複製到 CPU • 7. GPU 透過 VCHI 發送完成的訊息 • 8. MMAL API 會 callback picamera • 9. picamera 模組呼叫 write 將影像輸出 https://picamera.readthedocs.io/en/release-1.13/fov.html 影像從相機模組到執行輸出的步驟
24. https://picamera.readthedocs.io/en/release-1.13/fov.html
25. • GPU 是由許多組件組合而成 , 依序 (pipeline) 負責不同功能 • 1. 翻轉 , 隔行採樣 , 像素分箱在 Sensor 處理 • 2. frame lines 會傳到 GPU, 再由 Unicam 組件寫到 RAM • 3. GPU 的 ISP 會進行後處理 ( 多個步驟 ) • 4. 如果僅做未編碼輸出 ,Frame 將透過 DMA 複製到 CPU • 5. 如果有編碼 , 編碼 block 會執行對應的編碼 ( 如 H.264) • 6. 編碼後 , 輸出將透過 DMA 複製到 CPU • 7. VPU 負責協調以上各組件 , 並回應來自 VCHI 的訊息 https://picamera.readthedocs.io/en/release-1.13/fov.html GPU 的後處理用 pipeline 方式處理
26. https://picamera.readthedocs.io/en/release-1.13/fov.html
27. 27 ISP 的處理步驟和結果 https://karaimer.github.io/camera-pipeline/
28. 28 • 開放多媒體加速層 (Open Media Acceleration) • 由 Khronos Group 提出的標準 • 統一的介面 , 加速大量多媒體資料的處理 OpenMAX https://www.khronos.org/openmax/
29. • MMAL 是一個由 Broadcom 為 VideoCore 4 系 統定製的 API, 因此如果要做硬體加速 , 可以透過 MMAL 的 API 存取 VideoCore GPU • raspicam 應用程式使用了三個 OpenMAX 組件 : camera 和 preview 和 encoder • 樹莓派提供 OpenMAX IL 1.1.2 文件和 IL 組件 • 但還是很難理解和使用 ... https://kwasi-ich.de/blog/2017/11/26/omx/ MMAL (Multimedia Abstraction Layer)
30. 操作太複雜了 ,Linux 怎麼做？
31. 31 Webcam http://www.slideshare.net/gxben/abs-2014-android-kit-kat-internals
32. Linux 如何存取硬體？ http://www.xml.com/ldd/chapter/book/ch01.html 裝置節點
33. • 是 Linux 對視訊設備 ( 如 Webcam 或電視擷取卡 ) 的 Userspace API, 用於將 video buffer 傳遞給 不同的硬體設備和 / 或從不同的硬體設備接收它們 Video For Linux 2nd(V4L2) https://www.linuxtv.org/downloads/legacy/video4linux/API/V4L2_API/spec-single/v4l2.html
34. https://forums.raspberrypi.com/viewtopic.php?t=62364 Raspberry Pi 提供 V4L2 Driver
35. https://www.iottechtrends.com/product-review/raspberry-pi-camera-v2-review/ 同時支援 V4L2 和 MMAL
36. 過了很久出現新的問題
37. • 硬體必須支援 UVC(USB Video device Class) • 但 USB 的速度比較慢 ( 相較於 DMA) • 難以處理日益複雜的相機架構 • 硬體層的圖形處理演算法無法發揮作用 使用 V4L2 的限制 https://bit.ly/3QOgryr
38. https://forums.raspberrypi.com/viewtopic.php?t=281884 OpenMAX 太複雜又沒維護 (2012~)
39. 2020 年的大消息
40. https://www.raspberrypi.com/news/an-open-source-camera-stack-for-raspberry-pi-using-libcamera/ 採用 libcamera 作為 Camera Stack
41. • libcamera 是 Linux 和 Android 和 Chrome OS 的使用者空間開源相機堆疊和框架 (An userspace open source camera stack and framework for Linux, Android, and Chrome OS.) • libcamera 目的是提供一個統一的 API 來支援各種 不同的相機模組 , 號稱是相機界的 Mesa( 一個開源 的 3D/2D 圖形加速軟體 ) • 目前支援的硬體有 Intel IPU3( 僅限部分設備 ), NXP i.MX7, Raspberry Pi 3/4, RockChip RK3399, UVC 網路攝影機和 VIMC 虛擬測試設備 什麼是 libcamera? https://libcamera.org/faq.html
42. libcamera 架構 https://bit.ly/3QOgryr
43. • 使用 plugin 方式載入 (pipeline handler), 讓開 源和閉源的影像處理演算法 (IPA) 都能在受保護的 環境下被執行 • 讓開發者可以使用統一的 API 進行應用程式開發 , 降低嵌入式相機硬體的複雜性 • 提供 Adaptation Layer 來相容 V4L2 和 gstreamer 和 Android Camera HAL • 提供 Python Binding( 例如 picamera2) • 可支援多相機模組或是單相機模組的多個串流 • 可對每個幀進行控制 (per-frame controls) libcamera 特色
44. • 提供開源的影像處理演算法 (3A 演算法 ) • 提供 libcamera-apps 命令列工具測試 • 提供 picamera2 讓 python 可存取 libcamera Raspberry Pi 整合 libcamera
45. Raspberry Pi 整合 libcamera https://datasheets.raspberrypi.com/camera/raspberry-pi-camera-guide.pdf
46. • $ sudo apt-get update • $ sudo apt-get install libcamera-apps raspberrypi-kernel • # 修改 /boot/config.txt 並加上一行 dtoverlay=imx708 • # 重開機之後就可以使用了 開始使用 Raspberry Pi Camera 3
47. 47 • 一套基於 libcamera 的小工具 , 用來取代 raspicam • libcamera-hello 只預覽不做其他動作 • libcamera-still 單次拍照 , 功能和 raspistill 類似 • libcamera-vid 視訊擷取 , 功能和 raspivid 類似 • libcamera-raw 取得原始 Bayer 幀 , 和 -raw 類似 libcamera-apps https://github.com/raspberrypi/libcamera-apps
48. DEMO
49. • @Creative5 贊助 USB 小禮物 • @ 台灣樹莓派贊助 Raspberry Pi Zero 2 W • @element14 贊助 Raspberry Pi 特色紅包袋 感謝乾爹們～
50. Raspberry Pi Rocks the World Thanks