GDG DevFest Suwon 2019 - 이용이

Deep Player : 축구 영상 분석 S/W - 이용이 ( GDG Gwangju Organizer, SOSLAB )

Transcript

1. 1 / 63 Deeplayer Yong Y. Lee GDG Gwangju Organizer
2. 2 / 63 이 용 이 (Yong Y. Lee) Senior Researcher / Community Organizer SOSLAB Co., Ltd. / Google Developers Group Gwangju +82 10 3518 4992 yongyi.lee@soslab.co / yylee.st.john@gmail.com GIST (Gwangju Institute of Science and Technology) Ph.D. degree in School of Mechanical Engineering Mar 2014 – Feb 2019 GIST (Gwangju Institute of Science and Technology) M.S. degree in School of Mechatronics Mar 2012 – Feb 2014 CBNU (Chungbuk National University) B.S. degree in Electronics Engineering Mar 2005 – Feb 2012 Education  Computer Graphics (3D Point-Cloud Filtering)  Computer Vision (Depth Camera, 3D LiDAR)  Machine Learning (2D/3D Recognition)  Virtual/Augmented Reality (Projector-Camera, Spatial AR)  Human Computer Interaction (Shape Change Display) Research Interest About Me
3. 3 / 63 옛날 옛적에… ※ 고전/아재 주의 민망함을 일으킬 수 있는 개그가 포함되어 있을 수 있습니다. 부끄러움은 여러분의 몫입니다. ©김두연
4. 4 / 63 Prologue
5. 5 / 63 2018. 01 © 약작가, 원생웹툰: http://naver.me/F5fjbpPf
6. 6 / 63 2018. 01 괜찮아. 힘내!! 그런데 논문도 중요하지만… 광주에도.. 프로그래밍 커뮤니티 활동 서울에서는~ 그치만 넌 졸업부터.. 딥러닝 강XX 님 현| NAVER Clova / GDE ML © 약작가, 원생웹툰: http://naver.me/F5fjbpPf
7. 7 / 63 http://jjalbox.com/_data/jjalbox/2018/01/20180111_5a5638afe21eb.png
8. 8 / 63 Dive into ML/TF
9. 9 / 63 Dive into ML/TF [1] 머신러닝, NPC: 앤드류 응 구글에 코세라를 검색한 다음 앤드류 응 교 수님의 머신러닝 강의를 수강하세요. 0/25 이론 강의 0/20 실습 강의 보상 MNIST를 사용할 수 있습니다. [2] 모두의 딥러닝, NPC: 성킴 모두를 위한 딥러닝 강의를 수강하고, TensorFlow 1.x를 습득합니다. 0/15 딥러닝 0/10 합성곱 신경망 0/20 강화학습 보상 TFKR 가입의 기회를 얻습니다.
10. 10 / 63
11. 11 / 63 기계공학부 축구 모임…(58) 정근 오후 4:30 오늘 경기 영상이요~
12. 12 / 63 기계공학부 축구 모임…(58) 정근 오후 4:30 오늘 경기 영상이요~
13. 13 / 63 기계공학부 축구 모임…(58) 정근 오후 4:30 오늘 경기 영상이요~ 종훈 덕윤이 걸어다니네… 오후 4:31
14. 14 / 63 기계공학부 축구 모임…(58) 정근 오후 4:30 오늘 경기 영상이요~ 종훈 덕윤이 걸어다니네… 오후 4:31 덕윤 오후 4:31
15. 15 / 63 기계공학부 축구 모임…(58) 정근 오후 4:30 오늘 경기 영상이요~ 종훈 덕윤이 걸어다니네… 오후 4:31 AI 기술 이용해서 경기 내용 분석해 줄 능력자 분 없나 요?? ㅋㅋ 오후 4:32 덕윤 오후 4:31
16. 16 / 63 Apr 27, 2018 GIST
17. 17 / 63
18. 18 / 63 Members Yong Yi Lee GIST Interest: - Computer graphics - AR/VR - 3D Data Processing Jehong Lee GIST Interest: - Mobile robots - Object detection - Decision making Junho Choi GIST Interest: - Computer graphics - Appearance capture/modeling Jong Hun Lee IMR Interest: - AR/VR - Computer vision - Computer graphics Deok Yun Jang SOSLAB Interest: - System control - Self driving car - Visual SLAM Jeonggeun Lim GIST Interest: - Drone - Collision avoidance - Path planning
19. 19 / 63
20. 20 / 63   
21. 21 / 63 Deeplayer
22. 22 / 63 Deeplayer : Deep layer를 이용한 football player 분석
23. 23 / 63 Player’s Performance Total dist. Aver. speed Max speed Pass Shoot 0 times 25 times 10km/h 3km/h 1530m Deeplayer : Deep layer를 이용한 football player 분석
24. 24 / 63 Literature Survey  Player Tracking in Soccer Videos [Manafifard2017] M. Manafifard et al., “A Survey on Player Tracking in Soccer Videos”, Compter Vision and Image Understanding (CVIU), Vol. 159, pp. 19-46, 2017. Optional Input video Appearance Modeling Preprocessing Player Detection Playfield Detection Occlusion Resolution Player Labeling Player Tracking Evaluation Semantic Information Fig. Difference camera configurations
25. 25 / 63 Commercial Product Video SciSports and SAS Viya Score New Insights on Soccer Pitch (http://www.scisports.com/)
26. 26 / 63 Goal of the Research Development  Football Player Tracking in an Aerial Video : 정밀하게 캘리브레이션 된 다수의 고정 카메라가 아닌 무인 비행체를 이용해 촬영한 축구 경기 영 상에서 선수들의 움직임을 추적하고 이를 분석하는 기술 개발 1. 카메라의흔들림과광원환경변화에강건하게선수들을검출하기위한관심객체검출방법개발 2. 검출된선수들의움직임을추적하여움직임에따른경기내용을분석하는기술개발
27. 27 / 63 The Proposed Method Player Detection (YOLOv3) Player Tracking (Kalman Filt.) Performance Measure Football Video Player’s Performance [Dist., speed, etc.] Training Dataset [Labeled image set] Player Detection Play Analysis Transfer Learning Players’ Position [B-box list]
28. 28 / 63 The Proposed Method Player Detection (YOLOv3) Player Tracking (Kalman Filt.) Performance Measure Football Video Player’s Performance [Dist., speed, etc.] Training Dataset [Labeled image set] Player Detection Play Analysis Transfer Learning Players’ Position [B-box list] Part I 드론 영상에서 축구 선수 자동 검출
29. 29 / 63
30. 30 / 63 Player Detection  YOLO v3 [Redmon2018] Joseph Redmon and Ali Farhadi, “YOLOv3: An Incremental Improvement”, arXiv, 2018 + ... #36 ... #61 ... ... × ... #82 Detection and Up sampling #86 Concatenation ... × ... #95 Detection and Up sampling #106 Detection ... Input Output #98
31. 31 / 63 Transfer Learning YOLOv3 Neural Net 200k labeled images (COCO dataset)
32. 32 / 63 Transfer Learning Our dataset YOLOv3 Neural Net
33. 33 / 63 Data Acquisition 20 m 40 m Camera GPS
34. 34 / 63 Data Acquisition 20 m 40 m Camera GPS  UAV; unmanned aerial vehicle • Quadrotor (DJI MATRICE 100) • 3-axis gimbal camera (Zenmuse X3) • 3840 × 2160, 30 [fps], 94° FoV • GPS-based hovering (accuracy: vert.-0.5 [m], hori.-2.5 [m] )  Futsal game • 12 players • 40 × 20 [m2] • Top-view
35. 35 / 63 Number of Frames: 8,573 장 Number of Boxes : 103,876개 걸린 시간: 약 19시간 줄어든 수명: 19 X 6명 = 114 시간
36. 36 / 63 After Before
37. 37 / 63 Shadow: False Positive Fig. 경기장 조명에 따른 그림자로 인한 긍정 오류(false positive)
38. 38 / 63 ※ 고전/딥러닝 주의
39. 39 / 63 After Before 검출 정확도 90.8% (True/Total=1325/1460)
40. 40 / 63 Miss Detection: False Negative Fig. 학습된 합성곱 신경망의 미검출 상황
41. 41 / 63 The Proposed Method Player Detection (YOLOv3) Player Tracking (Kalman Filt.) Performance Measure Football Video Player’s Performance [Dist., speed, etc.] Training Dataset [Labeled image set] Player Detection Play Analysis Transfer Learning Players’ Position [B-box list] Part II 검출한 축구 선수 움직임 추적 및 분석
42. 42 / 63 Player Tracking  Hungarian Assignment Method • 인접한 프레임에서 동일한 선수들에 대한 대응 관계를 정의해야 함 • 주어진 두 데이터셋의 짝 맞추기를 위한 결합 최적화(Combinatorial optimization) 방법 • 데이터셋에 대해 정의한 비용 함수(cost function)를 최소화 하는 1 대 1 결합 쌍을 정의 ෍ =1 ෍ =1 = − + , ℎ : center point of bbox, : cropped image for bbox region
43. 43 / 63 Player Tracking  Hungarian Assignment Method Prev. frame Detection results of current frame Fig. 헝가리안 할당 방법을 이용한 인접 프레임 간의 선수 대응관계 정의
44. 44 / 63 Player Tracking  Kalman Filtering 초기값 선정 ො 0 , 0 추정값과 오차 공분산 예측 ො − = (ො −1 , −1 ) − = −1 + −1 칼만 이득 계산 = − − + −1 추정값 계산 ො = ො − + ( − ො − ) 오차 공분산 계산 = − − − 측정값 YOLOv3 추정값 ො 예측 갱신 Previous frame Current frame Blue(dash): YOLOv3 Blue(solid): Hungarian Red: Kalman Prediction White: Kalman Correction Player#1 Player#1 Fig. 헝가리안 방법을 통해 할당된 대응관계를 이용한 칼만 필터링
45. 45 / 63
46. 46 / 63 Further Development Video 부트스트랩을 이용해 개발한 딥플레이어 웹페이지 및 사용자 인터페이스 데모
47. 47 / 63 History  Phase 1 (4/27 – 6/3): Deep learning basic – MNIST classification (5 weeks)  Phase 2 (6/10 – 7/29): Convolutional neural network – Object detection (7 weeks)  Hackathon (8/3 – 8/4): AI & IoT Hackathon – Deeplayer prototype (1 weeks)  Phase 2.5 (8/25): Deep Learning Summer School (3 weeks)  Phase 3 (9/16 – 10/28): Deeplayer beta ver. (7 weeks)  Phase 3.5 (11/4 – 12/28): Deeplayer beta ver. & IPIU 2019 (7 weeks)
48. 48 / 63 Conclusion  쿼드로터로 촬영한 축구 경기 영상을 자동으로 분 석할 수 있는 방법 제안  합성곱 신경망 기반의 관심 객체 검출을 통해 흔 들림에도 조명 변화에도 강건하게 선수들을 위치 를 검출  선수 검출 결과를 칼만 필터의 센서 측정값으로 사용하여 선수 간의 가림과 부정 오류에도 강건하 게 선수들을 추적하고 식별  사용자의 접근성을 높이고 상호작용이 가능한 영 상 콘텐츠를 제공할 수 있는 웹 기반 서비스 플랫 폼 개발
49. 49 / 63 Future Work  실제 축구 경기에 적용하기 위해서는…  더 넓은 영역을 동시에 촬영하기 위한 편대 비행 & 영상 정합 (image stitching) 기술  선수의 교체 등의 상황에 대응하기 위한 재인식 기술  축구공을 검출하고 선수들과의 상호작용(점유율, 패스 성공률, 유효 슈팅 수 등)을 분석하는 기술  사용자의 접근성을 높이고 상호작용이 가능한 웹/모 바일 플랫폼  사용자가 업데이트 하는 영상을 클라우드 컴퓨팅을 통 해 처리할 수 있는 기술 Conclusion  쿼드로터로 촬영한 축구 경기 영상을 자동으로 분 석할 수 있는 방법 제안  합성곱 신경망 기반의 관심 객체 검출을 통해 흔 들림에도 조명 변화에도 강건하게 선수들을 위치 를 검출  선수 검출 결과를 칼만 필터의 센서 측정값으로 사용하여 선수 간의 가림과 부정 오류에도 강건하 게 선수들을 추적하고 식별  사용자의 접근성을 높이고 상호작용이 가능한 영 상 콘텐츠를 제공할 수 있는 웹 기반 서비스 플랫 폼 개발
50. 50 / 63 Future Work  실제 축구 경기에 적용하기 위해서는…  더 넓은 영역을 동시에 촬영하기 위한 편대 비행 & 영상 정합 (image stitching) 기술  선수의 교체 등의 상황에 대응하기 위한 재인식 기술  축구공을 검출하고 선수들과의 상호작용(점유율, 패스 성공률, 유효 슈팅 수 등)을 분석하는 기술  사용자의 접근성을 높이고 상호작용이 가능한 웹/모 바일 플랫폼  사용자가 업데이트 하는 영상을 클라우드 컴퓨팅을 통 해 처리할 수 있는 기술 Conclusion  쿼드로터로 촬영한 축구 경기 영상을 자동으로 분 석할 수 있는 방법 제안  합성곱 신경망 기반의 관심 객체 검출을 통해 흔 들림에도 조명 변화에도 강건하게 선수들을 위치 를 검출  선수 검출 결과를 칼만 필터의 센서 측정값으로 사용하여 선수 간의 가림과 부정 오류에도 강건하 게 선수들을 추적하고 식별  사용자의 접근성을 높이고 상호작용이 가능한 영 상 콘텐츠를 제공할 수 있는 웹 기반 서비스 플랫 폼 개발 ※ 고전(2016)/아재 주의
51. 51 / 63 트루 엔딩  바로 사용할 수 있는 쓸모 있는 무엇인가를 만들어 보고 싶었으나…  프로젝트가 길어질 수록 흥미, 집중도, 우선 순위는 점점 낮아졌고…  “배운 게 도둑질이라고” 결국 국내 학술대회 발표로 지극히 연구스럽게 프로젝트 마무리… 송충이는 솔잎을…. https://1boon.kakao.com/changeground/motiontoonok0417
52. 52 / 63 Epilogue
53. 53 / 63
54. 54 / 63 광주과학기술원, GIST
55. 55 / 63
56. 56 / 63
57. 57 / 63
58. 58 / 63
59. 59 / 63 (Aug 25, 2018) AI Summer School (Nov 17, 2018) GDG DevFest'18 (Jan 26, 2019) RL Winter School (Mar 26, 2019) Kaggle Competition (Mar 30, 2019) RNN Spring School (Apr 17, 2019) Keras, Kaggle, & RL Concert (Apr 27, 2019) Women TechMakers (Jun 24, 2019) AI Talk Concert w Terry (Aug 31, 2019) DL Summer School (Nov 19, 2019) DevFest’19: Something about AI
60. 60 / 63 “Learn to Share, Share to Learn”
61. 61 / 63
62. 62 / 63 Let's Connect Deeper & Wider
63. 63 / 63 Thank you. 경청해 주셔서 감사합니다 : )