基於深度影像之多人頭部偵測技術 應用於表演藝術之研究

臺北藝術大學新媒體藝術學系碩士班102學年度第1學期學年評鑑

Transcript

1. ਿ ׵ ଉ ܓ ᅂ ྅ ʘ ε ɛ ᎘ ௅ ਈ ಻ Ҧ ஔ
   Ꮠ ͜ ׵ ڌ စ ᖵ ஔ ʘ ޼ Ӻ
   
   學 生 : 林 暐 智 A  Depth-­‐based  Crowded  Heads  Detec3on  System     Through  a  Freely-­‐located  Camera  Applied  to  Performance  Art   Ⅱ 北 藝 術 大 學 新 媒 體 藝 術 學 系 碩 士 班 1 0 2 學 年 度 第 1 學 期 學 年 評 鑑
2. ޼Ӻਗዚ
   
   •  兩年前，我看了一場演出 → 第七感官 – 觀賞環境建置計畫
3. ୋɖช֜
   ᝈሧᐑྤܔໄࠇ೥
   
   τ ࢆ ೘ ႀ ᒋ ᄌ ఙ
   
   䂋 ό
   ౻ ߕ ɛ ᛆ ˖ ʷ ෤ ਜ ʕ ͍ ੀ
   
            
   x Y x Y x Y
4. ޼Ӻਗዚ
   
   •  兩年前，我看了一場演出 → 第七感官 – 觀賞環境建置計畫 •  觀察 和 閒聊 •  利用紅外線攝影機做 •  攝影機安裝在高度 4 ~ 5 M，鳥瞰的視角 •  偵測技術只能感測到舞者在舞台平面上的X, Y 座標 •  發現問題，種下技術突破的種子 •  同樣的技術，應用在天花板很低(2.5 ~ 3 M)的表演的場地怎麼辦 •  我要怎麼偵測到舞者身體的 高度變化 •  舞者和舞者若是靠得太近，會產生遮蔽問題，又該怎麼處理 •  舞者需要配合技術特性。(舞者高度變化無法偵測) Blob Detection Bird’s Eye View
   
   
   
5. ޼Ӻਗዚ
   
   •  我想要做到的技術突破點 •  在攝影機安裝在低矮的天花板也能偵測舞者 •  攝影機拍攝的影像若發生遮蔽( )問題也能順利偵測舞者 •  偵測到舞者的平面上的移動(X, Y)以及高度(Z)的變化 如跳躍、蹲下 Occlusion
6. Ңٙซ྅
   
   •  如果利用 KINECT 攝影機 •  把深度影像旋轉一下 •  寫一個追蹤頭部的演算法 原始深度影像 (Kinect SDK) 深度影像旋轉中 鳥瞰視角 ( Bird’s eye view)
7. Ңٙซ྅
   
   軟體旋轉 Side View Bird’s Eye View
9. ޼Ӻʫ࢙
   
   •  延伸 •  頭部機率演算法 •  旋轉深度影像 超通訊視覺實驗室的研究 Whac-a-Mole: A Head Detection Scheme by Estimating the 3D Envelope from Depth Image (IEEE Intl. Conf. Multimedia Expo 2013 )
10. ޼Ӻʫ࢙
    
    •  頭部機率演算法
11. ޼Ӻʫ࢙
    
    •  旋轉深度影像 (OPENFRMAEWORK 0744 + OPENCV 2.2)
12. ྼ᜕ഐ؈
    
    •  演講教室裡 •  10人 •  光線昏暗環境 •  光線明亮環境 •  實驗室裡 •  4人 •  光線昏暗環境 •  光線明亮環境
13. ྼ᜕ഐ؈
    
    
14. ྼ᜕ഐ؈
    
    
15. ྼ᜕ഐ؈
    
    
16. ྼ᜕ഐ؈
    
    
17. ޼Ӻ্ᘠ
    
    •  遮蔽的處理 •  單一個FRAME處理完成 •  不同高度的處理 •  各種人體高度的偵測 •  運算複雜度低 •  可以做即時的應用程式 (FPS 15 ↑ ) •  自由視角(FREE VIEWPOINT) •  可以安裝在任意高度的牆面上 •  三度空間定位 (3D POSITIONING)
18. ޼Ӻ্ᘠ
    
    •  將此技術發表至 IEEE INTL. CONF. MULTIMEDIA EXPO DEMO 2013
19. ɛي৛ᔳ׵ڌစᖵஔٙᏐ͜
    •  使用動作偵測技術是趨勢 •  無穿戴感測器 •  增加Z 軸的體感偵測，讓舞者創作時多一個維度思考 •  小的表演空間也可以架設攝影機進行人物追蹤 Trinity, at Barcelona, 2013 Dance + Projection mapping at Japan, 2013
20. %&.0
    Demo 空間環境示意 (攝影機2.5 m 高) Demo 程式截圖 原始影像 旋轉過後的影像與偵測結果
21. ޴ᗫ˖ᘠ
    -People detection/tracking - Motion-based method - Brostow and Cipolla （IEEE CVPR, 2006 ) - Optical flow of SIFT features for body detection - Ozturk et al. (IEEE ICCV, 2009) - Color-based player tracking - Santiago et al. (Computational Vision and Medical Image Processing, 2011) - Homography-based people tracking - Eshel and Moses （IEEE CVPR, 2008)
22. ޴ᗫ˖ᘠ
    - RGB-D camera - Pose recognition from depth images - Shotton et al. ( IEEE CVPR, 2011) - Kinect official sdk : Microsoft - Depth image identification and localization - Plagemann et al. (IEEE ICRA, 2010) - Kalmanfilter, hand tracking - Park et al. (EURASIP JASP, 2012) - Depth-image frame differencing, object detection - Baum et al. ( IEEE MFI )