Tweet
Tweet

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

イワケン 岩﨑 謙汰  MR Engineer for FUTURE EVENT  Next Experts for Mixed Reality  I love HoloLens @iwaken 7 1

Slide 3

Slide 3 text

FUTURE EVENT

Slide 4

Slide 4 text

特定領域への貢献意欲や⼀定の実績を有し、将来的なDeveloper Expertsを⽬指すエンジニアの ための活動⽀援制度。サイバーエージェントにはDeveloper Expertsと呼ばれる制度が存在します。 Next Expertsの3つの役割 Next Experts 各専⾨領域における⾼い専⾨性を⾝につける 対外活動を通して、各専⾨領域の発展に貢献 管轄や事業部の垣根を越え、担当領域のサポート 1 2 3

Slide 5

Slide 5 text

MR分野のNext Expertsとしてのミッション Mixed Realityの 
 社会実装事例を作っていく

Slide 6

Slide 6 text

今⽇のゴール バーチャル撮影システムによる 
 Mixed Reality表現の実演をします 


Slide 7

Slide 7 text

1 .バーチャル撮影システム 2 .Mixed Reality (MR) 3 .バーチャル撮影システムによるMR表現 4 .MR⽬線のCA BASE NEXTの⾒どころ

Slide 8

Slide 8 text

バーチャル撮影システム = リアルタイムに⼈物とCG背景を 
  合成し撮影ができるシステム

Slide 9

Slide 9 text

リアルタイム合成は簡単ではない カメラ⾓度は変わったがCG背景が付いてこない

Slide 10

Slide 10 text

現実のカメラとCG世界のカメラが 連動していないと 合成時にズレが⽣じる

Slide 11

Slide 11 text

バーチャル撮影の様⼦ (CA BASE CAMP) https://twitter.com/ca_developers/status/ 13 0279 46 70 3 9 3552 896 ?s= 20

Slide 12

Slide 12 text

なぜカムロ坂スタジオの撮影は 
 合成時にズレが⽣じないか？

Slide 13

Slide 13 text

現実のカメラとCG世界のカメラの 
 位置情報やレンズデータを 
 連動させているから

Slide 14

Slide 14 text

現実とCGカメラの連動 CG世界のカメラへ連動 位置情報とレンズデータをトラッキング 反射マーカーの設置 = 光学式の特徴

Slide 15

Slide 15 text

それをMR技術を応⽤して実現したい バーチャル撮影システムの次の進化は 
 ライブ配信での⾝体拡張表現

Slide 16

Slide 16 text

2 . Mixed Reality (MR)

Slide 17

Slide 17 text

そもそも Mixed Reality (MR) とは？

Slide 18

Slide 18 text

MR = 複合現実感 [Kishino 1 9 9 4 ] Mixed Reality (MR) Real環境 Virtual環境 Augmented Reality (AR) Augmented Virtuality (AV)

Slide 19

Slide 19 text

MRとは 
 リアルとバーチャル環境を 
 ⾏ったりきたりする技術であると⾔える

Slide 20

Slide 20 text

MRはAR環境を含む [Kishino 1 9 9 4 ] Mixed Reality (MR) Real環境 Virtual環境 Augmented Reality (AR) Augmented Virtuality (AV)

Slide 21

Slide 21 text

Augmented Reality (AR) の定義 [Dieter Schmalstiegら.『ARの教科書』.マイナビ出版,2019,p 2 7 ] ‧現実と仮想の組み合わせ ‧実時間で動作する応答性を備えている ‧三次元的に整合性が取れている

Slide 22

Slide 22 text

現在の⼈間はMRデバイスを通じて 
 MR体験をすることができる

Slide 23

Slide 23 text

「MRデバイス」 でググると https://biz-ar.jp/news/blog/ 2 020 / 04 /mr-glass-comparison/ ‧HoloLens 2 ‧Magic Leap 1
 ‧Nreal Light

Slide 24

Slide 24 text

‧CGオブジェクトを現実空間に 
  置くことができる 
 ‧⼿を使ってCGオブジェクトを 
  操作できる HoloLens 2 ができるMR体験の例

Slide 25

Slide 25 text

MRデバイスを付けている⼈しか体験できないのが悩み MR体験は未来のスタンダードになる 
 と私は確信している。 しかし

Slide 26

Slide 26 text

⼈類は今からMR体験の追求をすべき ※個⼈の感想です

Slide 27

Slide 27 text

MR体験の向上に貢献したい 
 バーチャル撮影システムによって 
 MR表現を映像として多くの⼈に届ける

Slide 28

Slide 28 text

バーチャル撮影システム MR技術 ライブ配信での 
 ⾝体拡張表現の提供 
 ⼀般層へMR表現を 
 伝える⼿段の提供

Slide 29

Slide 29 text

3. バーチャル撮影システムによるMR表現

Slide 30

Slide 30 text

MR表現の実演と紹介 HoloLens 2 による CGオブジェクト操作 Azure Kinectによる Body Tracking 
 CA BASE NEXTの動画を⾒てね 1 . 2 .

Slide 31

Slide 31 text

MR表現のポイント ⾝体とCG世界がインタラクティブに 
 作⽤しているか 三次元的な整合性が取れているか 1 2

Slide 32

Slide 32 text

デモ HoloLens による 
 CGオブジェクト操作 岩崎が開発担当

Slide 33

Slide 33 text

デモの演出 本編⾒てね https://youtu.be/A 1 QyheWVZeE

Slide 34

Slide 34 text

ハンドジェスチャーで CGオブジェクトを 
 リアルタイムに3次元的操作をする 
 HoloLens 2 のMR表現ポイント 私はHoloLens 2 を通じて 
 実際にMR体験している 1 2

Slide 35

Slide 35 text

HoloLensからみた景⾊: 本編は動画 https://youtu.be/YQ 0 zQdAKPLg

Slide 36

Slide 36 text

簡単な技術解説 現実世界の基準点 基準点からの相対座標 
 (X, Y, Z) CG世界の原点

Slide 37

Slide 37 text

⽅法② 
 基準点に合わせて、 
 CGオブジェクトを動かし位置合わせ → 今回はコチラ ⽅法① 
 基準点にマーカーを貼り、認識する 現実世界の基準点の合わせ⽅

Slide 38

Slide 38 text

HoloLens 2 から⾒て 
 原点を揃える 現実世界とCG世界の原点と向きを揃える

Slide 39

Slide 39 text

デモ Azure Kinectによる 3次元 BodyTracking 弊社の伏⽊が開発担当

Slide 40

Slide 40 text

https://youtu.be/POE 7 gCUCW 1 s CGの⾵船を叩くデモ: 本編は動画

Slide 41

Slide 41 text

CGのボールを蹴るデモ: 本編は動画 https://youtu.be/d 2 PVfqiqd 6 o

Slide 42

Slide 42 text

→ ⾝体拡張表現 Azure KinectのBody Tracking SDKにより 
 ⼈間の3次元関節情報を取得する ⾝体の動きに CGオブジェクトが反応する BodyTrackingのMR表現ポイント 1 2

Slide 43

Slide 43 text

4 . MR⽬線のCA BASE NEXTの⾒どころ

Slide 44

Slide 44 text


 MR⽬線で⾒どころがある 
 2つのセッションを紹介 私も企画‧開発に関わりました

Slide 45

Slide 45 text

⾒どころセッション つ⽬

Slide 46

Slide 46 text

No content

Slide 47

Slide 47 text

Motion Capture, LED Studio, 
 AR的合成の技術の掛け算による表現 MR⽬線の⾒どころ 1 2 同じ空間でリアルタイムに 
 バーチャルヒューマンとリアルの⼈間が 
 コミュニケーションを⾏う

Slide 48

Slide 48 text

撮影の様⼦ 弊社の海⽊がメインで開発を担当

Slide 49

Slide 49 text

⾒どころセッション つ⽬

Slide 50

Slide 50 text

No content

Slide 51

Slide 51 text

次世代の XRプレゼンテーションの体現 リアルとCGの照明連動 MR⽬線の⾒どころ 1 2

Slide 52

Slide 52 text

バーチャル撮影システムによる 
 Mixed Reality表現に挑戦しました まとめ

Slide 53

Slide 53 text


 AR/MRのことを 
 情報発信しています Twitterフォローよろしくお願いします！ @iwaken 71

Slide 54

Slide 54 text

No content