1 Global Shutter Camera 介紹 sosorry 2023/05/15 @Raspberry Pi Meetup #37 

姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 — 你必須給予 適當表彰、提供指向本授權 條款的連結，以及 指出（本作品的原始版本）是否已 被變更。你可以任何合理方式為前述表彰，但不得以 任何方式暗示授權人為你或你的使用方式背書。 非商業性 — 你不得將本素材進行商業目的之使 用。 相同方式分享 — 若你重混、轉換本素材，或依本 素材建立新素材，你必須依本素材的授權條款來 散布你的貢獻物。 

3 ● Raspberry Pi 官方經銷商 ● 專注 Raspberry Pi 應用與推廣 , 舉辦社群活動 關於我們 

4 ● 電子式快門 : ● Rolling Shutter ● Global Shutter ● Raspberry Pi Global Shutter Camera ● 全域快門相機應用案例 ● 開始使用 Global Shutter Camera 大綱 

Raspberry Pi Camera 硬體架構 http://www.phonearena.com/news/13MP-camera-tipped-for-Samsung-Galaxy-S-IV_id35168 1. Lens( 透鏡 ) 2. VCM( 音圈馬達 ) 3. IR-Cut( 紅外光濾片 ) 4. Sensor( 感光元件 ) 5. PCB( 印刷電路板 ) 6. ISP( 影像訊號處理器 ) 

6 https://www.photometrics.com/learn/advanced-imaging/rolling-vs-global-shutter 

7 Rolling Shutter vs. Global Shutter https://www.photometrics.com/learn/advanced-imaging/rolling-vs-global-shutter 

8 ● Rolling Shutter 是相機感光元件以逐行掃瞄的方 式讀取像素資料 , 由於每行像素的曝光時間不同 , 因此紀錄高速移動的物體時 , 就會出現扭曲現像 果凍現象 (Jello Effect) https://www.arducam.com/bye-distortion-a-review-of-arducam-global-shutter-camera-family/ 

9 Raspberry Pi Camera 規格 https://www.raspberrypi.com/documentation/accessories/camera.html Camera v2 Camera v3 HQ Camera GS Camera Weight 3g 4g 30.4g 34g Still resolution 8 M 11.9 M 12.3 M 1.58 M Video modes 1080p47 640 × 480p206 2304 × 1296p30 1536 × 864p120 2028 × 1080p50 1332 × 990p120 1456 x 1088p60 Sensor Sony IMX219 Sony IMX708 Sony IMX477 Sony IMX296 Sensor resolution 3280 × 2464 4608 x 2592 4056 x 3040 1456 x 1088 Pixel size(µm) 1.12 x 1.12 1.4 x 1.4 1.55 x 1.55 3.45 x 3.45 Focus Adjustable Motorized Adjustable Adjustable Focal length 3.04 nm 4.74 mm Depends on lens Depends on lens FoV 62x43 degrees 66x41 degrees Depends on lens Depends on lens Lens Mount N/A N/A C/CS- or M12- mount C/CS 

10 ● Sony IMX296LQR-C 感測器 ● 1.6 百萬像素和 3.45µm 像素大小 ● 大像素尺寸具備高感光度，最低可在 30µs 曝光完成 ● 高速攝影加低像素，運動攝影和機器視覺應用專用！ Global Shutter Camera https://www.raspberrypi.com/documentation/computers/camera_software.html 

11 ● 適合高速攝影和拍照 ● 機器人技術和自動化 ● 安全和精準監控 ● 車載系統偵測快速移動物體 ● 擴增實境和虛擬實境 Global Shutter Camera 適合場景 

2020 年的大消息 

https://www.raspberrypi.com/news/an-open-source-camera-stack-for-raspberry-pi-using-libcamera/ 採用 libcamera 作為 Camera Stack 

● libcamera 是 Linux 和 Android 和 Chrome OS 的使用者空間開源相機堆疊和框架 (An userspace open source camera stack and framework for Linux, Android, and Chrome OS.) ● libcamera 目的是提供一個統一的 API 來支援各種 不同的相機模組 , 號稱是相機界的 Mesa( 一個開源 的 3D/2D 圖形加速軟體 ) ● 目前支援的硬體有 Intel IPU3( 僅限部分設備 ), NXP i.MX7, Raspberry Pi 3/4, RockChip RK3399, UVC 網路攝影機和 VIMC 虛擬測試設備 什麼是 libcamera? https://libcamera.org/faq.html 

libcamera 架構 https://bit.ly/3QOgryr 

● 使用 plugin 方式載入 (pipeline handler), 讓開 源和閉源的影像處理演算法 (IPA) 都能在受保護的 環境下被執行 ● 讓開發者可以使用統一的 API 進行應用程式開發 , 降低嵌入式相機硬體的複雜性 ● 提供 Adaptation Layer 來相容 V4L2 和 gstreamer 和 Android Camera HAL ● 提供 Python Binding( 例如 picamera2) ● 可支援多相機模組或是單相機模組的多個串流 ● 可對每個幀進行控制 (per-frame controls) libcamera 特色 

● 提供開源的影像處理演算法 (3A 演算法 ) ● 提供 libcamera-apps 命令列工具測試 ● 提供 picamera2 讓 python 可存取 libcamera Raspberry Pi 整合 libcamera 

Raspberry Pi 整合 libcamera https://datasheets.raspberrypi.com/camera/raspberry-pi-camera-guide.pdf 

19 ● V2 camera (IMX219), dtoverlay=imx219 ● HQ camera (IMX477),dtoverlay=imx477 ● V3 camera (IMX708), dtoverlay=imx708 ● GS camera (IMX296), dtoverlay=imx296 dtoverlay https://www.raspberrypi.com/documentation/computers/camera_software.html 

● 在 2023-02-21 Bullseye 以前 ● $ sudo apt-get update ● $ sudo apt-get install libcamera-apps raspberrypi-kernel ● # 修改 /boot/config.txt 並加上一行 dtoverlay=imx296 # 重開機之後就可以使用了 ● 在 2023-05-03 Bullseye 以後，隨插即用 \^^/ 開始使用 GS Camera 

21 ● 一套基於 libcamera 的小工具 , 用來取代 raspicam ● libcamera-hello 只預覽不做其他動作 ● libcamera-still 單次拍照 , 功能和 raspistill 類似 ● libcamera-vid 視訊擷取 , 功能和 raspivid 類似 ● libcamera-raw 取得原始 Bayer 幀 , 和 -raw 類似 libcamera-apps https://github.com/raspberrypi/libcamera-apps 

DEMO 

● @Creative5 贊助 USB 小禮物 ● @ 台灣樹莓派贊助 Pico W 感謝乾爹們～ 

24 Raspberry Pi Rocks the World Thanks