現実と仮想が混ざる空間への1→10の挑戦

Magic leap meetup vol.4

Transcript

1. Magic Leap Meetup vol.4 現実と仮想が混ざる空間への1→10の挑戦
2. SPEAKER 合田 龍矢 GODA TATSUYA 株式会社ワントゥーテン コミュニケーションテクノロジー部 エンジニア 1. ワントゥーテンのxRへの取り組み 2. Magic Leap 1開発の検証共有 今回お話するテーマ
3. ワントゥーテンのxRへの取り組み
4. 社名 株式会社ワントゥーテン / 1-10,inc 創業 1997年10月 資本金 243,000,000円 従業員数 約120名 京都本社 〒600-8411 京都市下京区烏丸通四条下ル水銀屋町620番地 COCON烏丸 4階 東京支社 〒140-0002 東京都品川区東品川2-2-8スフィアタワー天王洲7F 業務内容 ・クリエイティブコンサルティング ・テクノロジーソリューション開発 ・プロダクト開発／サービス開発 ・コンテンツプロデュース （広告企画、ウェブサイト、企画展示、MR／VR／AR体験など）
5. WORKS - Projection Mapping - ドバイ万博 日本館 展示（2021） https://expo2020-dubai.go.jp/ja 二条城夜会（2021） https://yakai.1-10.com/nijojo/ MAGICAL SHORES at SILOSO（2019） https://www.sentosa.com.sg/en/things-to- do/attractions/magical-shores/
6. WORKS - Virtual Reality - ドラゴンクエストVR（2018） https://vrzone-pic.com/shinjuku/activity/dragonquestvr.html ソードアート・オンライン ザ・ビギニング Sponsored By IBM（2016） https://youtu.be/fcGhGEfHdWs CYBER WHEEL X（2019） https://cyber.1-10.com/
7. WORKS - Mixed + Augmented Reality - DEJIMA by 1→10 The Heart of ZIPANGU (2020) https://dejima.1-10.com/ DOCOMO Open House 2020 ウルトラマン MR Show (2020) https://www.1-10.com/works/docomo-open-house-2020-「ウルトラマン-mr-show」 オバケハンター2 (2020) https://www.parque-net.com/special/obakehunter/
8. REAL VIRTUAL 相互作用 見て・触れて体験する その場でしか味わえない リアルな価値の提供 場の規制がなく バーチャルで参加できる 新たな付加価値の提供 オフライン オンライン オフライン（リアル）とオンライン（バーチャル）の境界がない体験プラットフォーム ミラーワールド ワントゥーテン的「メタバース」の解釈は リアルとバーチャルでインタラクションを交換し、共有する世界。 WORKS - Metaverse -
9. Smart Digital Field 対象となる会場のデジタルツインを制作する。 永続的なデジタルアンカー※を打ち込んで物理的空間と仮想的空間の座標を重ね合わせる。 両世界のTrackable Objectをお互いの空間座標に反映させる。 インタラクションを共有する場を用意。 ※ARマーカー他、Azure Spatial Anchors、Immersal、MagicLeapのPCFなど
10. Smart Digital Fieldのデモ
11. Smart Digital Fieldのシステム構成 バーチャル空間（Web） リアル空間（MRアプリ） クラウド タブレット スマートフォン MRグラス 中継アプリ スマートフォン PC VRゴーグル OUT：全タブレットの位置情報 IN：バーチャル空間ユーザーの 位置情報 OUT：自分の位置情報 IN：他のバーチャル空間ユーザーの位置情報 全タブレットの位置情報 OUT：自分の位置情報 IN：バーチャル空間アバターの 位置情報 OUT：自分の位置情報 IN：バーチャル空間アバターの 位置情報 OUT：自分の位置情報 IN：他のバーチャル空間ユーザーの位置情報 全タブレットの位置情報 OUT：自分の位置情報 IN：他のバーチャル空間ユーザーの位置情報 全タブレットの位置情報 OUT：自分の位置情報 IN：バーチャル空間アバターの 位置情報 ※台数に制限はありません 【必須】 会場からの 有線LAN Router
12. 展示イベントでの活用 製品やサービスなどを 紹介し、相互空間で 体感するイベント ・製品/サービス情報を 展開 ・企業情報の発信 オープンな場所で 複数人に対し 発信するイベント ・基調講演、セミナー ・企業情報発信、記者発表 ・ライブセッション カンファレンスでの活用 商談での活用 顧客との接点を創出し 商談などに繋げる イベント ・製品情報を展開 ・商談 ・アフターパーティー 教育の場での活用 エンタメイベントでの活用 自粛で登校できない 学生達への 体験型授業活用 ・体験型授業 ・中継型授業 ライブ演出や エンタメイベントでの 相互空間活用 ・ファンコミュニティ ・ライブ動画配信 ・ゲームイベント 工場見学での活用 リアルとバーチャルの 体験を繋いだ 新しい工場見学 ・クルー目線で 実演空間の共有 ・SDGs視点での企業の 取り組みを発信 Smart Digital Fieldの活用例
13. Magic Leap 1開発の検証共有
14. WORKS - Magic Leap - DEJIMA by 1→10 The Heart of ZIPANGU (2020) https://dejima.1-10.com/ DOCOMO Open House 2020 ウルトラマン MR Show (2020) https://www.1-10.com/works/docomo-open-house-2020-「ウルトラマン-mr-show」 その他自社研究 https://labs.1-10.com/2021/10/mr-office-tour-using-magicleap1/
15. ・装着感 ・映像出力 ・視野角 ・NearClip ・自己位置推定 ・照度 ・遮光 ・色彩 今回お話すること MLというデバイスの特徴についてお話します。
16. 装着感 HMDは316gで、ライトパックは400g お客さんに体験してもらうと、徐々に重さや鼻辺りの熱 が気になってくるらしい。 ほどよい体験時間は 5 - 10 分くらいかなと思ってます。 Magic Leap 1 Magic Leap 2 HMDの重さは20%OFFの252g、サイズ半分らしくかけやすそう。
17. 映像出力① 解像度は片目 1280 x 960 px 色が鮮やかに出て、綺麗な映像を見せるポテンシャ ルがある。まずホーム画面が綺麗で最初驚いた。
18. 映像出力② 色は「プロジェクターが発する光を導波管を通し、 反射させることで眼の前に色を投影する」という仕 組みで映っている。 導波管（WaveGuide）のおかげでプロジェクターの 位置をグラス内に収めることができている。 Magic Leap One Teardown https://www.ifixit.com/Teardown/Magic+Leap+One+Teardown/11224 5 ML1を分解し、内部構造を見せて解説してくれる。
19. 視野角① ML1で表示できる映像はヒトの視野角の1/4以下とな っている。 体験者は図のようにほぼ目の前しか見えていない状 態になっている。 ヒトとML1の視野角を比較した図 ヒトの最大視野角は水平約200度、垂直約120度とされている。 ML1の視野角は水平約40度、垂直約30度と半分以下になっている。
20. 視野角② 大きなオブジェクトは近づくと視界に収まらずに見切れて しまう。 オブジェクトがどのように映ってほしいのか考えておかな いと没入感に欠ける体験となってしまう。 巨大な恐竜を表示した図 歩いて近づくと、尻尾や首が切れて見えなくなっていってしまった。
21. 視野角③ XRは空間を広く使えるのが魅力。 だが、MRデバイスでは視野角の関係で「この演出は これくらいの距離から見てほしい」というのがあり、 使える位置が決まっているように思える。 大きいオブジェクトは近くで見ると見切れるけど、広がっていく 視野の奥に配置すれば視野に収まる。
22. 視野角④ コンテンツの最適な配置は視野の下方向 0~35度？ MLでもこの数字は当てはまると使っていて思う。 今の視野角であちこちにオブジェクトを配置すると首 や身体を大きく動かさないといけないので大変。 Mixed Reality Design - Comfort https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/comfort 体験者から見たオブジェクトを置く最適な角度の解説
23. 視野角⑤ 会社紹介デモ https://drive.google.com/file/d/1s7C4PeVPUhvwxoFjJHuMYE3EdvYHlfJR/view?usp=sharing ルートや注目する地点を示すことで 体験者の立ち位置や視線を誘導することができた..かも。 会社のエントランスを歩くとビジョンが徐々に浮かび 上がるデモを作った。 広いエントランスのどこを見ればいいかを知らせるために パーティクルで進行ルートを示し、演出が起こる場所に球 体を出すなどガイドを設置した。
24. 視野角⑥ Magic Leap 2では対角の視野角が70度らしい。 右図を見ると垂直の視野がかなり広がったと感じる。 Magic Leap 1,2の視野角の比較（公式イメージ）
25. NearClip① MLは眼前37cm以内に映像を表示することができない。 これは目の焦点による不快感を緩和するための仕様 Microsoft HoloLens: The Science Within - Making Comfortable Holograms https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/comfort 動物は注目している場所に合わせて、目の焦点を調整する
26. NearClip② 景色とCGの焦点距離がずれていると、「どちらか に焦点を合わせたときどちらかがぼやける」とい うちぐはぐな状態が生まれる。 Microsoft HoloLens: The Science Within - Making Comfortable Holograms https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/comfort 現実と仮想どちらかがぼやける例 ちなみにMagicLeapでは近距離・遠距離の２つ焦点が存在し、アイトラ ッキングを使って切り替えている。
27. NearClip③ 焦点距離の齟齬は不快感につながる。 不快感は遠距離よりも近距離の方が大きくなる。 Microsoft HoloLens: The Science Within - Making Comfortable Holograms https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/comfort CGの表示距離と不快感の関係を描いたグラフ
28. NearClip④ Mixed Reality Design - Comfort https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/comfort Hololensは焦点距離が2mで、1.25 - 5.00mにオブジェクトを置 くのが良いとされている。 デバイスの焦点距離に近くにオブジェクトを配置するの がベストではある。 前述の通りMLには２つの焦点が存在するが、その距離 は明らかにされていない..はず。ただ個人的に最適な配 置距離は同じく1m - 5mだと思う。
29. NearClip⑤ https://drive.google.com/file/d/1SOjbR3X-i-Sgv4zyWUv1vk0dVeOF0u5V/view?usp=sharing 右は37cmに入ると切れて見えなくなる。 左は対策として距離によってオブジェクトをフェードアウトさせている。 Magic Leapでは37cmでオブジェクトが切れる。 距離に応じて徐々にフェードをかけるなど違和感を抑え る対策をしたい。
30. 自己位置推定① 自己位置推定の精度が高く、エントランスを歩き回 るコンテンツも位置ズレ少なく作ることができた。 その精度は適切な特徴量を持つ空間で特に力を発揮 する。 Map Curation Tool https://drive.google.com/file/d/1x448KxKMNESs0qFDMuuXTdLJ82tOTQcz/view?usp=sharing MLがどれくらい空間の特徴を捉えているか可視化することができる。 ツールは通った場所で「赤→橙→黄→緑」のスコアを出す。 特徴のない単色壁などの場所ではスコアが低くなる。
31. 自己位置推定② MLは移動した場所の空間マップを常に作成し ている。マップ上には定期的にPCFというア ンカーが置かれる。 アンカーは永続的なものであり、MLの電源を 落としても再度空間を認識したときに復元す る。 作成されたアンカーにオブジェクトを紐づけ て記憶しておくことで空間のみを使った位置 合わせが可能になる。 体験スペースの空間マップを作っておくと、 次そこを歩いたときに初回より精度が上がる気がする。
32. 自己位置推定③ 自己位置推定にはRGBカメラとIMUが使われてる らしいが、ほぼほぼカメラで決まる感覚。 たとえば右図のように大きく壁一面のプロジェク ションを見つめてると、MLはその方向に自分が動 いたと誤解する。 そのためRGBカメラが正しく空間を捉えられない 環境（暗闇・単色壁・プロジェクション・鏡・人 口密度が高い）では精度が落ちる傾向がある。 https://drive.google.com/file/d/1vkDwczhVptleP99iSV-gc_zgmGw9yqi4/view?usp=sharing 羽田出島では壁一面のプロジェクションが動くと その方向に自己位置推定が引っ張られた。 対策として、屏風や柵などを配置して現実空間の特徴を増やした。
33. 照度① ハーフミラーでは映像の色は背景に加算される。 周囲が明るいと映像が背景に負けたり、変色が起 きたり視認性が落ちる。 晴天の屋外で映像を見ると、透けたり変色したりする。 https://drive.google.com/file/d/1jZp4x33XF-eKMOPppre4PTcdPkM65cbm/view?usp=sharing
34. 照度② 平和テクノシステム様 / 現実世界の照度の目安 http://heiwa-net.ne.jp/camera/about-lux/ 推奨の50ルクスは屋内の非常階段ぐらいの暗さになる。 晴天時の屋外は10000ルクスにもなる。明るい。 MLを使う上では周囲の明るさはとても重要！ 明るければ映像が見づらくなり、暗ければ自己位 置推定ができなくなる。 公式は５０ルクスの明るさを推奨している。
35. 照度③ 空間の照度（ルクス）は照度計を使うことで測定 できる。 この空間でMLをやりたいとなったときはとりあ えず照度を測る。 個人的には20 - 1000ルクスであれば快適に使え ると考えている。 照度計
36. 照度④ 空間の照らし方も注意が必要。 理想を言えば体験スペースが均一の照度を持つこ とが好ましい。 ある場所は明るく、ある場所は真っ暗であったり すると安定した体験にならない。 極端な例であるが、左のように１つの光源で空間を照らすのはよくない。 照度にムラができるし、体験者の影が意図しない暗がりを作り、 自己位置推定に悪影響を及ぼす場合がある。 右のように複数の光源で全体的に照らしたい。
37. 遮光 MLはレンズの前に遮光板が置かれており、サン グラスのように外からの光を抑えている。 これは映像が見やすくなるなどいくつかの問題を 緩和するが、周りの景色の視認性を落としている とも言える。 MLを通して見る景色は暗く見える。
38. 色彩① 明度 彩度 色相 明度が低い色は黒に近づき、MLでは透明に映る。 シースルーディスプレイということで開発環境で 作った色がそのまま出ずに調整が難しい。 特徴として白が一番明るく、明度を下げて黒に近 づくほど透明に見えていく。黒は完全に透明とな る。
39. 色彩③ シースルーディスプレイということで開発環境で 作った色がそのまま出ずに調整が難しい。 特徴として白が一番明るく、明度を下げて黒に近 づくほど透明に見えていく。黒は完全に透明とな る。 右から左にかけて徐々に明度を下げていくサンプル 右の白は眩しく、徐々に色が弱くなり、左の黒は完全に見えなくなる。
40. 色彩④ 明度が高い色は見やすいが、使いすぎると目が疲 れたり不快感に繋がる。 一番見てほしい情報に明るい色を使い、そこから 引き算して色を決めていのがよさそう。 MixedReality color-light-materials https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/color-light-and-materials 左のように文字やアイコンに白を使い、 背景に明度を低い色を当てていくほうがよさそう。
41. 色彩⑤ ARは現実世界にCGを重ねるため、ごちゃごちゃ した場所では存在が目立たないことがある。 なので陰影表現を変えたり、視覚効果を加えるこ とで印象や視認性に手を加えたりする。 たとえば MLTK (Magic Leap ToolKit) には RampLight という陰影と輪郭を制御する実装が ある。 RampLight 実装 左はリム表現（反転）、右は陰影表現を表す。 それぞれを 0 - 1 に収めた上で、リムをX軸・陰影をY軸にとり、 右のようなテクスチャをフェッチする。 その結果を元のカラーに乗算する。
42. 色彩⑥ ARは現実世界にCGを重ねるため、ごちゃごちゃ した場所では存在が目立たないことがある。 なので陰影表現を変えたり、視覚効果を加えるこ とで印象や視認性に手を加えたりする。 たとえば MLTK (Magic Leap ToolKit) には RampLight という陰影と輪郭を制御する実装が ある。 シェーディングによる印象の差分 左からUnlit, RampLight, Lit を並べた。 RampLightを使うと立体感を残しつつも、 輪郭が強調されて視認性が増した感がある。
43. まとめ MLはとても魅力的なデバイスで、現実の中で動き 回って綺麗なCGを色んな角度で見たりとてもおも しろい表現ができる。 その反面、体験に落とし込むには空間設計だったり、 CGの見え感だったり考慮しなくてはならない点が 多々ある。
44. 今後やってみたいこと 今回の調査結果を使ったMR表現 → 快適性を保ちつつも、現実空間に埋もれない見せ方 ・空間演出 ・GUI ・インタラクション + フィードバック また社内ブログや今回のようなイベントなどで公開できればと思います。