Raspberry Pi Global Shutter Camera介紹

這是我們在樹莓派社群聚會 #37 的分享，介紹 Raspberry Pi Global Shutter Camera

【新聞】Raspberry Pi Global Shutter Camera 出來了！ 樹莓派全域快門相機
* https://piepie.com.tw/51606/new-raspberry-pi-global-shutter-camera

購買 Raspberry Pi Global Shutter Camera
* https://piepie.com.tw/product/global-shutter-camera

Raspberry Pi 樹莓派社群聚會 #37
* https://raspberrypi-tw-bdfa45.kktix.cc/events/meetup37

Raspberry Pi 樹莓派社群聚會 #37 會後資料
* https://piepie.com.tw/52060/raspberrypi-meetup-37-data

Transcript

1. 1 Global Shutter Camera 介紹 sosorry <sosorry@piepie.com.tw> 2023/05/15 @Raspberry Pi Meetup #37
2. 姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 — 你必須給予 適當表彰、提供指向本授權 條款的連結，以及 指出（本作品的原始版本）是否已 被變更。你可以任何合理方式為前述表彰，但不得以 任何方式暗示授權人為你或你的使用方式背書。 非商業性 — 你不得將本素材進行商業目的之使 用。 相同方式分享 — 若你重混、轉換本素材，或依本 素材建立新素材，你必須依本素材的授權條款來 散布你的貢獻物。
3. 3 • Raspberry Pi 官方經銷商 • 專注 Raspberry Pi 應用與推廣 , 舉辦社群活動 關於我們
4. 4 • 電子式快門 : • Rolling Shutter • Global Shutter • Raspberry Pi Global Shutter Camera • 全域快門相機應用案例 • 開始使用 Global Shutter Camera 大綱
5. Raspberry Pi Camera 硬體架構 http://www.phonearena.com/news/13MP-camera-tipped-for-Samsung-Galaxy-S-IV_id35168 1. Lens( 透鏡 ) 2. VCM( 音圈馬達 ) 3. IR-Cut( 紅外光濾片 ) 4. Sensor( 感光元件 ) 5. PCB( 印刷電路板 ) 6. ISP( 影像訊號處理器 )
6. 6 https://www.photometrics.com/learn/advanced-imaging/rolling-vs-global-shutter
7. 7 Rolling Shutter vs. Global Shutter https://www.photometrics.com/learn/advanced-imaging/rolling-vs-global-shutter
8. 8 • Rolling Shutter 是相機感光元件以逐行掃瞄的方 式讀取像素資料 , 由於每行像素的曝光時間不同 , 因此紀錄高速移動的物體時 , 就會出現扭曲現像 果凍現象 (Jello Effect) https://www.arducam.com/bye-distortion-a-review-of-arducam-global-shutter-camera-family/
9. 9 Raspberry Pi Camera 規格 https://www.raspberrypi.com/documentation/accessories/camera.html Camera v2 Camera v3 HQ Camera GS Camera Weight 3g 4g 30.4g 34g Still resolution 8 M 11.9 M 12.3 M 1.58 M Video modes 1080p47 640 × 480p206 2304 × 1296p30 1536 × 864p120 2028 × 1080p50 1332 × 990p120 1456 x 1088p60 Sensor Sony IMX219 Sony IMX708 Sony IMX477 Sony IMX296 Sensor resolution 3280 × 2464 4608 x 2592 4056 x 3040 1456 x 1088 Pixel size(µm) 1.12 x 1.12 1.4 x 1.4 1.55 x 1.55 3.45 x 3.45 Focus Adjustable Motorized Adjustable Adjustable Focal length 3.04 nm 4.74 mm Depends on lens Depends on lens FoV 62x43 degrees 66x41 degrees Depends on lens Depends on lens Lens Mount N/A N/A C/CS- or M12- mount C/CS
10. 10 • Sony IMX296LQR-C 感測器 • 1.6 百萬像素和 3.45µm 像素大小 • 大像素尺寸具備高感光度，最低可在 30µs 曝光完成 • 高速攝影加低像素，運動攝影和機器視覺應用專用！ Global Shutter Camera https://www.raspberrypi.com/documentation/computers/camera_software.html
11. 11 • 適合高速攝影和拍照 • 機器人技術和自動化 • 安全和精準監控 • 車載系統偵測快速移動物體 • 擴增實境和虛擬實境 Global Shutter Camera 適合場景
12. 2020 年的大消息
13. https://www.raspberrypi.com/news/an-open-source-camera-stack-for-raspberry-pi-using-libcamera/ 採用 libcamera 作為 Camera Stack
14. • libcamera 是 Linux 和 Android 和 Chrome OS 的使用者空間開源相機堆疊和框架 (An userspace open source camera stack and framework for Linux, Android, and Chrome OS.) • libcamera 目的是提供一個統一的 API 來支援各種 不同的相機模組 , 號稱是相機界的 Mesa( 一個開源 的 3D/2D 圖形加速軟體 ) • 目前支援的硬體有 Intel IPU3( 僅限部分設備 ), NXP i.MX7, Raspberry Pi 3/4, RockChip RK3399, UVC 網路攝影機和 VIMC 虛擬測試設備 什麼是 libcamera? https://libcamera.org/faq.html
15. libcamera 架構 https://bit.ly/3QOgryr
16. • 使用 plugin 方式載入 (pipeline handler), 讓開 源和閉源的影像處理演算法 (IPA) 都能在受保護的 環境下被執行 • 讓開發者可以使用統一的 API 進行應用程式開發 , 降低嵌入式相機硬體的複雜性 • 提供 Adaptation Layer 來相容 V4L2 和 gstreamer 和 Android Camera HAL • 提供 Python Binding( 例如 picamera2) • 可支援多相機模組或是單相機模組的多個串流 • 可對每個幀進行控制 (per-frame controls) libcamera 特色
17. • 提供開源的影像處理演算法 (3A 演算法 ) • 提供 libcamera-apps 命令列工具測試 • 提供 picamera2 讓 python 可存取 libcamera Raspberry Pi 整合 libcamera
18. Raspberry Pi 整合 libcamera https://datasheets.raspberrypi.com/camera/raspberry-pi-camera-guide.pdf
19. 19 • V2 camera (IMX219), dtoverlay=imx219 • HQ camera (IMX477),dtoverlay=imx477 • V3 camera (IMX708), dtoverlay=imx708 • GS camera (IMX296), dtoverlay=imx296 dtoverlay https://www.raspberrypi.com/documentation/computers/camera_software.html
20. • 在 2023-02-21 Bullseye 以前 • $ sudo apt-get update • $ sudo apt-get install libcamera-apps raspberrypi-kernel • # 修改 /boot/config.txt 並加上一行 dtoverlay=imx296 # 重開機之後就可以使用了 • 在 2023-05-03 Bullseye 以後，隨插即用 \^^/ 開始使用 GS Camera
21. 21 • 一套基於 libcamera 的小工具 , 用來取代 raspicam • libcamera-hello 只預覽不做其他動作 • libcamera-still 單次拍照 , 功能和 raspistill 類似 • libcamera-vid 視訊擷取 , 功能和 raspivid 類似 • libcamera-raw 取得原始 Bayer 幀 , 和 -raw 類似 libcamera-apps https://github.com/raspberrypi/libcamera-apps
22. DEMO
23. • @Creative5 贊助 USB 小禮物 • @ 台灣樹莓派贊助 Pico W 感謝乾爹們～
24. 24 Raspberry Pi Rocks the World Thanks