Mixed Realityを体験してみよう

ModelViewer
https://modelviewer.dev/examples/scenegraph/

SkyEffects(8thwall)
https://www.8thwall.com/8thwall/sky-effects-aframe

Scaniverse - 3D Scanner(iPhone)
https://apps.apple.com/jp/app/scaniverse-3d-scanner/id1541433223

PhotoCatch(iPhone)
Turn photos into 3D model
https://apps.apple.com/id/app/photocatch/id1576081762?l=ja

Luma AI(iPhone)
AI for gorgeous 3D capture
https://apps.apple.com/jp/app/luma-ai/id1615849914?l=en-US

3D Scanner & NeRF: KIRI Engine(iPhone/Android)
https://apps.apple.com/jp/app/3d-scanner-nerf-kiri-engine/id1577127142
https://play.google.com/store/apps/details?id=com.kiriengine.app&hl=ja&gl=US

Transcript

1. Mixed Realityを体験してみよう Mixed Realityを体験してみよう Mixed Realityを体験してみよう
2. Mixed Reality（ミックスドリアリティ、MR）は、実際の物理的環境とデジタルコンテンツを融合させる技術 です。この技術は、仮想現実（Virtual Reality, VR）や拡張現実（Augmented Reality, AR）の概念を更に進化 させたものと言えます。 MRでは、ARグラスやスマートフォンなどのデバイスを使用して、ユーザーの現実世界にデジタルコンテンツ が重ねられます。しかし、単なる情報のオーバーレイという点でARと異なるのは、MRではデジタルオブジェ クトが物理的な環境と相互作用できることです。例えば、MRを利用すると、ユーザーは現実のテーブルの上に 仮想のオブジェクトを置いたり、それらとやり取りすることができます。 この技術は、教育、医療、製造業、エンターテイメントなど多岐にわたる分野で応用されています。例えば、 教育分野では、学生が実際に触れることのできない歴史的または科学的なオブジェクトを仮想的に探索するの に使用されたり、医療分野では外科医が手術前に3Dの人体モデルを用いて計画を練るのに使用されます。 また、MRはリモートワークや協力作業においても重要な役割を果たしています。遠隔地にいる人々が同じ仮想 環境内でコラボレーションし、アイデアを共有したり、プロジェクトを進めたりすることが可能になります。 MR技術はまだ進化し続けており、将来的にはよりリアルなインタラクションや、より高度なデジタル統合が期 待されています。この分野の発展は、私たちの生活や働き方に大きな変化をもたらす可能性があります。
3. CPS(cyber physical system) データの収集 データの蓄積、解析 社会課題の解決 竜とそばかすの姫 (細田守監督 / 2021年) 小型デバイスで 自分の情報を吸い上げる 現実世界 仮想世界 第1次産業革命：蒸 気機関 第2次産業革命：電 気 第3次産業革命：コ ンピューター 第4次産業革命： IoT、CPS インダストリー4.0 Society5.0
4. Photo grammetry (PhotoCatch) NeRF （LumaAI） Blockchain (Hazamabase) LiDAR(Scaniverse) scan pairing watch VPS(8thwall) MarkerlessWebAR (model viewer) 360度カメラ (Matterport) 1 2 3 4 5 6 7 8 9 markerlessWebAR (8thwall) メタバース (Babylon JS)
5. 赤いボタンを 押下して スキャン開始 赤色の部分が なくなるよう にあらゆる角 度から 上下など撮影 漏れがないよ うに Detailでレン ダリングする 対象の大きさ によってS / M / Lを選択 完成！ LiDAR（Light Detection and Ranging）は、光を用いて物体や環境の距離を測定する技術です。ScaniverseはこのLiDAR技術を活用し たアプリケーションで、特にスマートフォンやタブレットで利用可能です。LiDARは光のパルスを環境に送信し、反射して戻ってくる までの時間を測定することで、物体の位置や形状を精密にマッピングします。この技術は、3Dモデリング、建築測量、地理学的な調 査、自動運転車の開発など、多岐にわたる分野で用いられています。Scaniverseのようなアプリケーションを使うことで、ユーザーは 簡単に周囲の環境や物体の3Dスキャンを作成でき、これらのデータはさまざまな用途で利用可能です。LiDAR技術は、高い精度と距離 測定の能力が特徴で、複雑な環境や大規模な空間でも詳細な3Dデータを生成できます。この高精度なデータは、バーチャルリアリティ やオーグメンテッドリアリティの経験を強化し、リアルタイムでの環境理解に役立つため、テクノロジーの発展において重要な役割を 果たしています。 LiDAR(Scaniverse) 1
6. Create a 3D Modelで新規 作成 動画を選択 Select Video セッティング はこのままで アップロード セッティング はこのままで アップロード 対象物を360 度方向から撮 影して保存 フォトグラメトリー（PhotoCatch）は、写真から3Dモデルを生成する技術です。複数の写真から物体や環境の正確な3Dデジタル複製を作成することが できます。この技術は、建築、考古学、映画制作、ゲーム開発など幅広い分野で利用されています。具体的には、物体やシーンの周囲を異なる角度から 多数の写真を撮影します。その後、専用のソフトウェアがこれらの画像を分析し、重なり合う部分を特定して物体の形状や位置を計算します。このプロ セスにより、高精度な3Dモデルが生成されます。フォトグラメトリーは、リアルなテクスチャと詳細な幾何学的情報を持つモデルを生み出すため、非常 にリアリスティックな結果が得られます。しかし、正確な3Dモデルを得るには、高品質の写真と適切な撮影技術が必要です。また、処理には高度な計算 能力が求められることもあります。現在、この技術は3Dプリンティング、バーチャルリアリティ、オーグメンテッドリアリティなどの分野でも活用され ています。 Photo grammetry (PhotoCatch) 2
7. 物体はObject 風景はSeen を選択 平面を検知 大きさを指定 する ガイドに沿っ て、撮影を行 う [+]を押下し て開始 アップロード してしばらく すると完成 NeRF（Neural Radiance Fields）は、2020年にスタンフォード大学の研究者によって発表された、3Dシーンの表現・レンダリングを行うための深層学習ベースの手法です。 NeRFは、カメラから撮影された画像から、光線の進路を推定して、3Dシーンを再現します。具体的には、シーンのジオメトリ、カメラのポーズ、オブジェクトの反射率特性を 学習することで、新しい視点からシーンのフォトリアリスティックなビューをレンダリングすることができます。少ない画像から高品質な3Dモデルを生成できる NeRFは、従来 の3Dシーンの表現・レンダリング手法と比較して、少ない画像から高品質な3Dモデルを生成することができます。これは、光線の進路を推定するのではなく、光線がシーン内 のどこから来たのかを推定することによって、3Dシーンの表現をより正確に行うことができるためです。さまざまな視点からシーンをレンダリングできる NeRFは、新しい視点 からシーンをレンダリングすることができます。これは、光線の進路を推定することで、シーンの各点から見た光の情報を学習できるためです。リアルタイムでレンダリングで きる NeRFは、リアルタイムでレンダリングすることができます。これは、Plenoctreesと呼ばれるデータ構造を用いることで、光線の進路を効率的に計算できるようにするため です。 NeRF （LumaAI） 3
8. MarkerlessWebAR (model-viewer) modelviewer 右下の立方体 のマークを押 下 平面にカメラ を向ける ARコンテン ツが表示 QRコードを 読む Markerless WebARは、物理的なマーカーや特別なトラッキングシンボルを必要とせず、拡張現実（AR）体験を提供する技術です。これは、スマートフォンやタブレットのカメラとセンサーを使用して現実 世界の環境を認識し、その上にバーチャルオブジェクトや情報を重ね合わせることで実現されます。従来のAR体験は特定のマーカー（QRコードのような画像）を使って位置や向きを認識していましたが、マ ーカーレスWebARではこれが不要になります。GoogleのModel Viewerは、ウェブブラウザ上で3DモデルやAR（拡張現実）コンテンツを簡単に表示できるオープンソースのライブラリです。HTMLタグを使 用して、ウェブページに直接3Dモデルを組み込むことができます。これにより、デベロッパーやウェブデザイナーは特別なプログラミングスキルや追加のソフトウェアなしに、インタラクティブな3D体験を ウェブ上で提供できるようになります。Model ViewerはGLTFやGLBといった一般的な3Dモデルフォーマットをサポートしており、モデルの回転、拡大縮小、平行移動などの基本的な操作が可能です。ま た、AR機能を利用することで、ユーザーは自分の現実環境にバーチャルオブジェクトを配置して体験することができます。 6
9. MarkerlessWebAR (8thwall) 8thwall Sky Effects モーションセ ンサーを許可 動作、方向へ のアクセスを 許可 カメラへのア クセスを許可 空を向けると ARコンテン ツが生成され る A-Frame: Sky Effects QRコードを 読む 8th Wall Sky Effectsは、拡張現実（AR）技術を活用して、スマートフォンやタブレットのカメラを通じて見る空の景色にバーチャルエフェクトを追加する機能です。8th WallはウェブベースのARソリュー ションを提供する企業で、このSky Effectsは彼らのプラットフォームの一部です。Sky Effectsを使用すると、開発者はウェブブラウザを通じてリアルタイムで空にバーチャルオブジェクトやエフェクトを 配置できます。これにより、ユーザーは特別なアプリをダウンロードすることなく、スマートフォンのウェブブラウザで直接、インタラクティブな空の景色を体験できます。この技術は、特に広告やイベン トプロモーション、エンターテイメント業界での使用に適しており、ユーザーに新しいタイプのAR体験を提供します。たとえば、空に浮かぶバーチャルなキャラクターやロゴ、特定のイベントや祝日にちな んだ特別なエフェクトなどを表示することができます。8th Wallの技術は、デバイスのカメラと高度な画像認識アルゴリズムを用いて、現実の空の画像を認識し、そこにバーチャルコンテンツを重ね合わせ ます。このプロセスは完全にウェブベースであり、多くのデバイスで簡単にアクセスできるため、AR技術の普及に大きく貢献しています。 7
10. 8thwall Lightship VPS VPSとは？ Visual Positioning System（VPS）は、カメラやその他のセンサーを使用して物理的な環境の中でデバイスの正確な位置を 特定する技術です。このシステムは、周囲の環境の画像を捉え、それらの画像を既知の地図やデータベース内の画像と照合 することで位置を決定します。主に、屋内ナビゲーション、拡張現実（AR）アプリケーション、ロボット工学などの分野で 利用されています。VPSは、GPSが利用できない屋内環境や都市部の高層ビルが密集するエリアでも高い精度で位置情報を 提供するため、GPSの補完としても機能します。 また、拡張現実の分野では、現実の環境にデジタル情報を重ねる際に、正確な位置情報が不可欠であり、VPSはその実現に重 要な役割を果たしています。さらに、VPSは、特定の環境の3Dモデリングを作成するのにも使われることがあり、これによっ てより詳細かつ正確な環境のデジタル複製が可能になります。安全性や効率性を高めるために、産業や建設現場などでの使用 も検討されています。 GPSではできない 高さの表現ができる 数センチ単位の 位置調整が可能なので ARとの相性が良い 様々なスポットに紐付け ができる VPS(8thwall) 8