バーチャル撮影システムによるMixed Reality表現

こちらのスライドは2021年5/28に行われるサイバーエージェントの技術カンファレンスCA BASE NEXTの14時からのセッションの登壇資料です。

https://ca-base-next.cyberagent.co.jp/sessions/virtual-productions-mixed-reality/
==

私はエンジニアとして株式会社CyberHuman Productionsと共に、バーチャル撮影スタジオの研究開発やCG演出実装を担当し、これまで、アーティストライブ、ファッションショー、技術カンファレンスなど、様々なイベントをバーチャルで実現してきました。

バーチャル撮影スタジオでは、リアルタイム3DCG合成撮影やモーションキャプチャ技術、Unreal Engine等を用いて、バーチャルイベントの新しい生配信体験を開発、制作してきました。

本発表では、従来の映像表現からリアルとバーチャルが融合するMixed Reality (MR) 表現への進化へのチャレンジについて話したいと思います。HoloLens2やAzure KinectなどCA BASE NEXTで用いているMR表現とそれを実現する技術について話します。

Transcript

2. イワケン 岩﨑 謙汰  MR Engineer for FUTURE EVENT  Next Experts for Mixed Reality  I love HoloLens @iwaken 7 1
3. FUTURE EVENT
4. 特定領域への貢献意欲や⼀定の実績を有し、将来的なDeveloper Expertsを⽬指すエンジニアの ための活動⽀援制度。サイバーエージェントにはDeveloper Expertsと呼ばれる制度が存在します。 Next Expertsの3つの役割 Next Experts 各専⾨領域における⾼い専⾨性を⾝につける 対外活動を通して、各専⾨領域の発展に貢献 管轄や事業部の垣根を越え、担当領域のサポート 1 2 3
5. MR分野のNext Expertsとしてのミッション Mixed Realityの 
 社会実装事例を作っていく
6. 今⽇のゴール バーチャル撮影システムによる 
 Mixed Reality表現の実演をします 

7. 1 .バーチャル撮影システム 2 .Mixed Reality (MR) 3 .バーチャル撮影システムによるMR表現 4 .MR⽬線のCA BASE NEXTの⾒どころ
8. バーチャル撮影システム = リアルタイムに⼈物とCG背景を 
  合成し撮影ができるシステム
9. リアルタイム合成は簡単ではない カメラ⾓度は変わったがCG背景が付いてこない
10. 現実のカメラとCG世界のカメラが 連動していないと 合成時にズレが⽣じる
11. バーチャル撮影の様⼦ (CA BASE CAMP) https://twitter.com/ca_developers/status/ 13 0279 46 70 3 9 3552 896 ?s= 20
12. なぜカムロ坂スタジオの撮影は 
 合成時にズレが⽣じないか？
13. 現実のカメラとCG世界のカメラの 
 位置情報やレンズデータを 
 連動させているから
14. 現実とCGカメラの連動 CG世界のカメラへ連動 位置情報とレンズデータをトラッキング 反射マーカーの設置 = 光学式の特徴
15. それをMR技術を応⽤して実現したい バーチャル撮影システムの次の進化は 
 ライブ配信での⾝体拡張表現
16. 2 . Mixed Reality (MR)
17. そもそも Mixed Reality (MR) とは？
18. MR = 複合現実感 [Kishino 1 9 9 4 ] Mixed Reality (MR) Real環境 Virtual環境 Augmented Reality (AR) Augmented Virtuality (AV)
19. MRとは 
 リアルとバーチャル環境を 
 ⾏ったりきたりする技術であると⾔える
20. MRはAR環境を含む [Kishino 1 9 9 4 ] Mixed Reality (MR) Real環境 Virtual環境 Augmented Reality (AR) Augmented Virtuality (AV)
21. Augmented Reality (AR) の定義 [Dieter Schmalstiegら.『ARの教科書』.マイナビ出版,2019,p 2 7 ] ‧現実と仮想の組み合わせ ‧実時間で動作する応答性を備えている ‧三次元的に整合性が取れている
22. 現在の⼈間はMRデバイスを通じて 
 MR体験をすることができる
23. 「MRデバイス」 でググると https://biz-ar.jp/news/blog/ 2 020 / 04 /mr-glass-comparison/ ‧HoloLens 2 ‧Magic Leap 1
 ‧Nreal Light
24. ‧CGオブジェクトを現実空間に 
  置くことができる 
 ‧⼿を使ってCGオブジェクトを 
  操作できる HoloLens 2 ができるMR体験の例
25. MRデバイスを付けている⼈しか体験できないのが悩み MR体験は未来のスタンダードになる 
 と私は確信している。 しかし
26. ⼈類は今からMR体験の追求をすべき ※個⼈の感想です
27. MR体験の向上に貢献したい 
 バーチャル撮影システムによって 
 MR表現を映像として多くの⼈に届ける
28. バーチャル撮影システム MR技術 ライブ配信での 
 ⾝体拡張表現の提供 
 ⼀般層へMR表現を 
 伝える⼿段の提供
29. 3. バーチャル撮影システムによるMR表現
30. MR表現の実演と紹介 HoloLens 2 による CGオブジェクト操作 Azure Kinectによる Body Tracking 
 CA BASE NEXTの動画を⾒てね 1 . 2 .
31. MR表現のポイント ⾝体とCG世界がインタラクティブに 
 作⽤しているか 三次元的な整合性が取れているか 1 2
32. デモ HoloLens による 
 CGオブジェクト操作 岩崎が開発担当
33. デモの演出 本編⾒てね https://youtu.be/A 1 QyheWVZeE
34. ハンドジェスチャーで CGオブジェクトを 
 リアルタイムに3次元的操作をする 
 HoloLens 2 のMR表現ポイント 私はHoloLens 2 を通じて 
 実際にMR体験している 1 2
35. HoloLensからみた景⾊: 本編は動画 https://youtu.be/YQ 0 zQdAKPLg
36. 簡単な技術解説 現実世界の基準点 基準点からの相対座標 
 (X, Y, Z) CG世界の原点
37. ⽅法② 
 基準点に合わせて、 
 CGオブジェクトを動かし位置合わせ → 今回はコチラ ⽅法① 
 基準点にマーカーを貼り、認識する 現実世界の基準点の合わせ⽅
38. HoloLens 2 から⾒て 
 原点を揃える 現実世界とCG世界の原点と向きを揃える
39. デモ Azure Kinectによる 3次元 BodyTracking 弊社の伏⽊が開発担当
40. https://youtu.be/POE 7 gCUCW 1 s CGの⾵船を叩くデモ: 本編は動画
41. CGのボールを蹴るデモ: 本編は動画 https://youtu.be/d 2 PVfqiqd 6 o
42. → ⾝体拡張表現 Azure KinectのBody Tracking SDKにより 
 ⼈間の3次元関節情報を取得する ⾝体の動きに CGオブジェクトが反応する BodyTrackingのMR表現ポイント 1 2
43. 4 . MR⽬線のCA BASE NEXTの⾒どころ
44. 
 MR⽬線で⾒どころがある 
 2つのセッションを紹介 私も企画‧開発に関わりました
45. ⾒どころセッション つ⽬
47. Motion Capture, LED Studio, 
 AR的合成の技術の掛け算による表現 MR⽬線の⾒どころ 1 2 同じ空間でリアルタイムに 
 バーチャルヒューマンとリアルの⼈間が 
 コミュニケーションを⾏う
48. 撮影の様⼦ 弊社の海⽊がメインで開発を担当
49. ⾒どころセッション つ⽬
51. 次世代の XRプレゼンテーションの体現 リアルとCGの照明連動 MR⽬線の⾒どころ 1 2
52. バーチャル撮影システムによる 
 Mixed Reality表現に挑戦しました まとめ
53. 
 AR/MRのことを 
 情報発信しています Twitterフォローよろしくお願いします！ @iwaken 71