Mixed Realityを体験してみよう

Mixed Realityを体験してみよう Mixed Realityを体験してみよう Mixed Realityを体験してみよう

Mixed Reality（ミックスドリアリティ、MR）は、実際の物理的環境とデジタルコンテンツを融合させる技術です。この技術は、仮想現実（Virtual Reality, VR）や拡張現実（Augmented Reality, AR）の概念を更に進化させたものと言えます。 MRでは、ARグラスやスマートフォンなどのデバイスを使用して、ユーザーの現実世界にデジタルコンテンツが重ねられます。しかし、単なる情報のオーバーレイという点でARと異なるのは、MRではデジタルオブジェ
クトが物理的な環境と相互作用できることです。例えば、MRを利用すると、ユーザーは現実のテーブルの上に仮想のオブジェクトを置いたり、それらとやり取りすることができます。この技術は、教育、医療、製造業、エンターテイメントなど多岐にわたる分野で応用されています。例えば、教育分野では、学生が実際に触れることのできない歴史的または科学的なオブジェクトを仮想的に探索するのに使用されたり、医療分野では外科医が手術前に3Dの人体モデルを用いて計画を練るのに使用されます。また、MRはリモートワークや協力作業においても重要な役割を果たしています。遠隔地にいる人々が同じ仮想環境内でコラボレーションし、アイデアを共有したり、プロジェクトを進めたりすることが可能になります。 MR技術はまだ進化し続けており、将来的にはよりリアルなインタラクションや、より高度なデジタル統合が期待されています。この分野の発展は、私たちの生活や働き方に大きな変化をもたらす可能性があります。

CPS(cyber physical system) データの収集データの蓄積、解析社会課題の解決竜とそばかすの姫 (細田守監督 / 2021年)
小型デバイスで自分の情報を吸い上げる現実世界仮想世界第1次産業革命：蒸気機関第2次産業革命：電気第3次産業革命：コンピューター第4次産業革命： IoT、CPS インダストリー4.0 Society5.0

Photo grammetry (PhotoCatch) NeRF （LumaAI） Blockchain (Hazamabase) LiDAR(Scaniverse) scan pairing
watch VPS(8thwall) MarkerlessWebAR (model viewer) 360度カメラ (Matterport) 1 2 3 4 5 6 7 8 9 markerlessWebAR (8thwall) メタバース (Babylon JS)

赤いボタンを押下してスキャン開始赤色の部分がなくなるようにあらゆる角度から上下など撮影漏れがないように
Detailでレンダリングする対象の大きさによってS / M / Lを選択完成！ LiDAR（Light Detection and Ranging）は、光を用いて物体や環境の距離を測定する技術です。ScaniverseはこのLiDAR技術を活用したアプリケーションで、特にスマートフォンやタブレットで利用可能です。LiDARは光のパルスを環境に送信し、反射して戻ってくるまでの時間を測定することで、物体の位置や形状を精密にマッピングします。この技術は、3Dモデリング、建築測量、地理学的な調査、自動運転車の開発など、多岐にわたる分野で用いられています。Scaniverseのようなアプリケーションを使うことで、ユーザーは簡単に周囲の環境や物体の3Dスキャンを作成でき、これらのデータはさまざまな用途で利用可能です。LiDAR技術は、高い精度と距離測定の能力が特徴で、複雑な環境や大規模な空間でも詳細な3Dデータを生成できます。この高精度なデータは、バーチャルリアリティやオーグメンテッドリアリティの経験を強化し、リアルタイムでの環境理解に役立つため、テクノロジーの発展において重要な役割を果たしています。 LiDAR(Scaniverse) 1

Create a 3D Modelで新規作成動画を選択 Select Video セッティングはこのままで
アップロードセッティングはこのままでアップロード対象物を360 度方向から撮影して保存フォトグラメトリー（PhotoCatch）は、写真から3Dモデルを生成する技術です。複数の写真から物体や環境の正確な3Dデジタル複製を作成することができます。この技術は、建築、考古学、映画制作、ゲーム開発など幅広い分野で利用されています。具体的には、物体やシーンの周囲を異なる角度から多数の写真を撮影します。その後、専用のソフトウェアがこれらの画像を分析し、重なり合う部分を特定して物体の形状や位置を計算します。このプロセスにより、高精度な3Dモデルが生成されます。フォトグラメトリーは、リアルなテクスチャと詳細な幾何学的情報を持つモデルを生み出すため、非常にリアリスティックな結果が得られます。しかし、正確な3Dモデルを得るには、高品質の写真と適切な撮影技術が必要です。また、処理には高度な計算能力が求められることもあります。現在、この技術は3Dプリンティング、バーチャルリアリティ、オーグメンテッドリアリティなどの分野でも活用されています。 Photo grammetry (PhotoCatch) 2

物体はObject 風景はSeen を選択平面を検知大きさを指定するガイドに沿って、撮影を行う [+]を押下し
て開始アップロードしてしばらくすると完成 NeRF（Neural Radiance Fields）は、2020年にスタンフォード大学の研究者によって発表された、3Dシーンの表現・レンダリングを行うための深層学習ベースの手法です。 NeRFは、カメラから撮影された画像から、光線の進路を推定して、3Dシーンを再現します。具体的には、シーンのジオメトリ、カメラのポーズ、オブジェクトの反射率特性を学習することで、新しい視点からシーンのフォトリアリスティックなビューをレンダリングすることができます。少ない画像から高品質な3Dモデルを生成できる NeRFは、従来の3Dシーンの表現・レンダリング手法と比較して、少ない画像から高品質な3Dモデルを生成することができます。これは、光線の進路を推定するのではなく、光線がシーン内のどこから来たのかを推定することによって、3Dシーンの表現をより正確に行うことができるためです。さまざまな視点からシーンをレンダリングできる NeRFは、新しい視点からシーンをレンダリングすることができます。これは、光線の進路を推定することで、シーンの各点から見た光の情報を学習できるためです。リアルタイムでレンダリングできる NeRFは、リアルタイムでレンダリングすることができます。これは、Plenoctreesと呼ばれるデータ構造を用いることで、光線の進路を効率的に計算できるようにするためです。 NeRF （LumaAI） 3

MarkerlessWebAR (model-viewer) modelviewer 右下の立方体のマークを押下平面にカメラを向ける ARコンテンツが表示
QRコードを読む Markerless WebARは、物理的なマーカーや特別なトラッキングシンボルを必要とせず、拡張現実（AR）体験を提供する技術です。これは、スマートフォンやタブレットのカメラとセンサーを使用して現実世界の環境を認識し、その上にバーチャルオブジェクトや情報を重ね合わせることで実現されます。従来のAR体験は特定のマーカー（QRコードのような画像）を使って位置や向きを認識していましたが、マーカーレスWebARではこれが不要になります。GoogleのModel Viewerは、ウェブブラウザ上で3DモデルやAR（拡張現実）コンテンツを簡単に表示できるオープンソースのライブラリです。HTMLタグを使用して、ウェブページに直接3Dモデルを組み込むことができます。これにより、デベロッパーやウェブデザイナーは特別なプログラミングスキルや追加のソフトウェアなしに、インタラクティブな3D体験をウェブ上で提供できるようになります。Model ViewerはGLTFやGLBといった一般的な3Dモデルフォーマットをサポートしており、モデルの回転、拡大縮小、平行移動などの基本的な操作が可能です。また、AR機能を利用することで、ユーザーは自分の現実環境にバーチャルオブジェクトを配置して体験することができます。 6

MarkerlessWebAR (8thwall) 8thwall Sky Effects モーションセンサーを許可動作、方向へのアクセスを許可
カメラへのアクセスを許可空を向けると ARコンテンツが生成される A-Frame: Sky Effects QRコードを読む 8th Wall Sky Effectsは、拡張現実（AR）技術を活用して、スマートフォンやタブレットのカメラを通じて見る空の景色にバーチャルエフェクトを追加する機能です。8th WallはウェブベースのARソリューションを提供する企業で、このSky Effectsは彼らのプラットフォームの一部です。Sky Effectsを使用すると、開発者はウェブブラウザを通じてリアルタイムで空にバーチャルオブジェクトやエフェクトを配置できます。これにより、ユーザーは特別なアプリをダウンロードすることなく、スマートフォンのウェブブラウザで直接、インタラクティブな空の景色を体験できます。この技術は、特に広告やイベントプロモーション、エンターテイメント業界での使用に適しており、ユーザーに新しいタイプのAR体験を提供します。たとえば、空に浮かぶバーチャルなキャラクターやロゴ、特定のイベントや祝日にちなんだ特別なエフェクトなどを表示することができます。8th Wallの技術は、デバイスのカメラと高度な画像認識アルゴリズムを用いて、現実の空の画像を認識し、そこにバーチャルコンテンツを重ね合わせます。このプロセスは完全にウェブベースであり、多くのデバイスで簡単にアクセスできるため、AR技術の普及に大きく貢献しています。 7

8thwall Lightship VPS VPSとは？ Visual Positioning System（VPS）は、カメラやその他のセンサーを使用して物理的な環境の中でデバイスの正確な位置を特定する技術です。このシステムは、周囲の環境の画像を捉え、それらの画像を既知の地図やデータベース内の画像と照合することで位置を決定します。主に、屋内ナビゲーション、拡張現実（AR）アプリケーション、ロボット工学などの分野で利用されています。VPSは、GPSが利用できない屋内環境や都市部の高層ビルが密集するエリアでも高い精度で位置情報を
提供するため、GPSの補完としても機能します。また、拡張現実の分野では、現実の環境にデジタル情報を重ねる際に、正確な位置情報が不可欠であり、VPSはその実現に重要な役割を果たしています。さらに、VPSは、特定の環境の3Dモデリングを作成するのにも使われることがあり、これによってより詳細かつ正確な環境のデジタル複製が可能になります。安全性や効率性を高めるために、産業や建設現場などでの使用も検討されています。 GPSではできない高さの表現ができる数センチ単位の位置調整が可能なので ARとの相性が良い様々なスポットに紐付けができる VPS(8thwall) 8

Mixed Realityを体験してみよう

Mixed Realityを体験してみよう

oggata

More Decks by oggata

Other Decks in Education

Featured

Transcript

Mixed Realityを体験してみよう Mixed Realityを体験してみよう Mixed Realityを体験してみよう

CPS(cyber physical system) データの収集データの蓄積、解析社会課題の解決竜とそばかすの姫 (細田守監督 / 2021年)

Photo grammetry (PhotoCatch) NeRF （LumaAI） Blockchain (Hazamabase) LiDAR(Scaniverse) scan pairing

赤いボタンを押下してスキャン開始赤色の部分がなくなるようにあらゆる角度から上下など撮影漏れがないように

Create a 3D Modelで新規作成動画を選択 Select Video セッティングはこのままで

物体はObject 風景はSeen を選択平面を検知大きさを指定するガイドに沿って、撮影を行う [+]を押下し

MarkerlessWebAR (model-viewer) modelviewer 右下の立方体のマークを押下平面にカメラを向ける ARコンテンツが表示

MarkerlessWebAR (8thwall) 8thwall Sky Effects モーションセンサーを許可動作、方向へのアクセスを許可