Spatial Video Mediaのこれまでと実践

Transcript

1. Spatial Video Mediaのこれまでと実践 大阪関西万博での 8K VR180個人撮影・動画処理と Vision Proでの再生 ヒグチマサキ
2. 0.Demo ・個人撮影した、大阪関西万博での8K VR180 Videoの、Vision Proでの再生
3. 1.ヒグチマサキ ・Square : 3DCG Designer (Part-time) : Xenogears, FFVIII ・Sony/SIE : Product Manager / UX Designer / Engineer : PlayStation, FourthView ・Startup : Product Manager : 不動産・航空会社向けVR ・LINE : Product Manager : Clova Desk(Smart Display) ・PwC Consulting : Product Manager : 内製Demo等の開発(Metaverse, AI, Web3) ・個人 ＠jurilog
4. 2.Spatial Videoとは ・ Test
5. 3.Spatial Videoの歴史(1) ・1792年、Robert Barkerにより近代化。 Panorama絵画を鑑賞する施設、The Panorama, London。 Panoramaの語源はギリシャ語からの造語。 ‘pano’ (all) and ‘horama’ (view) 5世紀以前から、絵巻物的な絵画が存在。異世界を見たい、根源的な欲求からの表現 Wikipedia : Panorama
6. 3.Spatial Videoの歴史(2) ・1887年富士山縦覧場, 浅草 遠くを見たい、非日常を見たいという欲求への Solutionとしての物見台。 Wikipedia : 富士山縦覧場
7. 3.Spatial Videoの歴史(3) ・1890年澁澤榮一による日本パノラマ館 日本のパノラマ館の実現。現実の風景を観せる物見から、建物内側の仮想世界へ。 日本パノラマ館の検証復元 Wikipedia : 日本パノラマ館
8. 3.Spatial Videoの歴史(4) ・1900年パリ博でのSpatial表現 静止画のPanoramaから動画化、実写化へ。 Wikipedia : Cinéorama Wikipedia : Mareorama Cinéorama Projection Booth Cameras Mareorama
9. 3.Spatial Videoの歴史(5) ・1955年Disney Circle-Vision 360° Filmを使った360°動画撮影・再生の完成。 Wikipedia : Circle-Vision 360°
10. 3.Spatial Videoの歴史(6) ・1970年日本万国博覧会日本館 8面マルチスクリーン (35mm 8P×8) 水平130度、垂直60度 W48m×H16m cf グランドシネマサンシャイン池袋IMAX : W25.8m×H18.9m 市川崑監督作品「日本と日本人」 世界最大のマルチスクリーン上映 AV Watch : これが究極のマルチ画面だ。 8面35mmフィルム上映日本館の挑戦
11. 3.Spatial Videoの歴史(7) ・2025年大阪関西万博GUNDAM NEXT FUTURE PAVILIONでのドームスクリーン Screen手前に、宇宙船を模した構造物 を配置。構造物の隙間から、映像を楽 しむ。 巨大建造物へのProjection Mappingがあた りまえになった現在 LARP(Live action role-playing game)や ARG(alternate reality game)、Immersive FortなどのTokyoのような、現実の世界を楽 し むEntertainmentへの接近。 これまでの ”大艦巨砲主義 ”とは違う表現 GUNDAM NEXT FUTURE PAVILION | 本PV
12. 4.ヒグチ過去事例(1) • Broadband Application研究所(BA研) • Camera 8台分の映像をAuthoring、Full HD解像 度の360°映像に収める。 • 360°から好きな角度をController等で自由視点選 択する。 • PS2 : スペースヴィーナスや THE 京浜急行にて利 用 2001年Sony FourthView。360度自由視点Contentと、その撮影・ソリューションの R&D 染瀬直人の 360°VR VIDEO WORLD Vol.2 90 年代後半の伝説の VRプロジェクト・ソニー FourthVIEW Project前編 染瀬直人の 360°VR VIDEO WORLD Vol.2 90 年代後半の伝説の VRプロジェクト・ソニー FourthVIEW Project後編
13. 4.ヒグチ過去事例(2) ・Action Cameraの性能向上により、個人での360° Movie撮影が現実的に ・Kolor Autopanoや、Video Stitch等、Video向け360°Stitch Softwareの登場 ・Oculus DK1, DK2の登場により、VR HMDでの自然な360° Movie視聴が可能に 2013年GoPro4台による360度動画撮影 Maker Faire NYC at Sep. 2013 - jurilog.jp
14. 4.ヒグチ過去事例(3) ・2015年から10年の変化 Test
15. 5.大阪関西万博の8K VR180(1) ・8K VR180とは ・180° vs 230° ・PPDとは ・三脚・自撮り棒使用禁止! Test
16. 5.大阪関西万博の8K VR180(2) ・なぜ今8K VR180を行うべきか Test
17. 5.大阪関西万博の8K VR180(3) ・KitをQiさんにFacebookから注文。自分でQooCamを購入、分解、組み付け。 ・ Kandao QooCam 3 Ultra + VR180化Kit( Siyang Qiさん開発) Facebook : Siyang Qi
18. 5.大阪関西万博の8K VR180(4) ・5760 x 4320←8K縦画素相当 * 2 ・Laowa 4mm 2.8 Fisheye * 2 ・GH6 ¥160K *2 + Lens ¥30K *2=¥380K この価格でProレベルの8K VR180 Cameraが手に入る(!) ・熱耐性に対する信頼 Lumix GH6 2台によるStereo撮影
19. 5.大阪関西万博の8K VR180(5) ・三脚( 一脚 )使用不可 手にもつ or Strap等で体に固定できる必要がある ・自撮り棒不可 手に握れる程度のHandleの取り付けは可→Gimbal Stabilizerは可 イベントや公共施設での個人撮影の制限
20. 5.大阪関西万博の8K VR180(6) ・ 撮影からVision Proでの再生までの Workflow
21. 5.大阪関西万博の8K VR180(7) QooCam Studioによる変換 Workflow(1): QooCam 3からの動画処理
22. 5.大阪関西万博の8K VR180(8) Davinci ResolveとKartaVRによるFisheye Image からEquirectangularへの変換 Workflow(2): GH6 *2 からの動画処理
23. 5.大阪関西万博の8K VR180(9) ・APMPに準じたFileformat変換と、Metadata Injection ・APMPに準じない方法(Side By Side)と、そのPros/Consについて Video TrackからFile変換まで。
24. 5.大阪関西万博の8K VR180(10) ・ Vision Pro純正Playerでの8KVR180再生と、注意点
25. 6.APMP(1) ・APMPとは Test
26. @jurilog 6.APMP(2) Icon Type Camera & Lens Mono/ Stereo File Converting Solution Img Resolution PPD: Pixels Per Degree (Horizontal ) 2D iPhone, 2D Camera Mono 3D Professional 3D Camera Stereo Spacial • iPhone(70°?), Vision Pro, • Canon R7 or R50+RF-S7.8mm F4 STM Dual lens(63°), 3D Camera Stereo +Spatial Metadata iPhone : iOS Vision Pro : VisionOS Canon : EOS VR Utility iPhone : 1920x1080 R7: 3840×2160 iPhone : 27.4 180°APMP Canon EOS VR • R5...etc(35mm 8K)+RF5.2mm F2.8 L DUAL FISHEYE(180°) • R7, R50...etc(APS-C 4K)+RF-S3.9mm F3.5 STM DUAL FISHEYE(144°) Mono / Stereo Canon : EOS VR Utility R5+RF5.2mm F2.8 L DUAL FISHEYE(180°) : 4000(one eye) R7+RF-S3.9mm F3.5 STM DUAL FISHEYE : 2000(one eye) R5+RF5.2mm : 22.2 R7+RF-S3.9 : 13.9 360°APMP • GoPro MAX • Insta360 X5 Mono / Stereo GoPro Max : GoPro Quik(?) Insta360 X5 : Insta360 Studio Insta360 X5:3700? * 2 Insta360 X5 : 20.6 Wide FOV APMP • GoPro HERO13(Diagonal 122°, Horizontal 112°) (cf. w/Ultra Wide Lens Mod, Diagonal 177°) • Insta360 Ace Pro 2(Diagonal 118°, Horizontal 108°) Mono / Stereo GoPro HERO13: VisionOS(Quick Look) ・Use Standard Lens for GoPro Insta360 Ace Pro 2: VisionOS(Quick Look) GoPro HERO13: 5.3k 5312 × 4648 Insta360 Ace Pro2: 8K 7680 × 4320 4K 3840 × 2880 GoPro HERO13 : 47.4 Insta 360 Ace Pro2 : 71.1 Apple Immersive Video Blackmagic URSA Cine Immersive Stereo Davinci Resolve Blackmagic URSA Cine Immersive : About 6600pix?(one eye) URSA Cine Immersive : 36.7
27. @jurilog 6.APMP(3) Icon Type Camera & Lens Mono/ Stereo File Converting Solution Img Resolution PPD: Pixels Per Degree (Horizontal ) Spacial • iPhone(70°?), Vision Pro, • Canon R7 or R50+RF-S7.8mm F4 STM Dual lens(63°), 3D Camera Stereo +Spatial Metadata iPhone : iOS Vision Pro : VisionOS Canon : EOS VR Utility iPhone : 1920x1080 R7: 3840×2160 iPhone : 27.4 iPhoneでSpacialを撮影するのが一番手軽。変換もいらずにそのまま FileをVision Proにもっていけば良い。解像 度2Kだけど、画角が70°程度しかないのでPPDは27.4と悪くない。 EOSのいちばん小さいStereo Lens、RF-S7.8mm F4もここに分類される。 (そういえばm4/3用のLumix 12.5mm/F12なんていうのもあった …) 個人的には、手軽に撮れるのはよい一方で、わざわざ Vision Proで観るには画角がせまくて、少々迫力不足では ある…
28. @jurilog 6.APMP(4) Icon Type Camera & Lens Mono/ Stereo File Converting Solution Img Resolution PPD: Pixels Per Degree (Horizontal ) 180°APMP Canon EOS VR • R5...etc(35mm 8K)+RF5.2mm F2.8 L DUAL FISHEYE(180°) • R7, R50...etc(APS-C 4K)+RF-S3.9mm F3.5 STM DUAL FISHEYE(144°) Mono / Stereo Canon : EOS VR Utility R5+RF5.2mm F2.8 L DUAL FISHEYE(180°) : 4000(one eye) R7+RF-S3.9mm F3.5 STM DUAL FISHEYE : 2000(one eye) R5+RF5.2mm : 22.2 R7+RF-S3.9 : 13.9 Canon EOS R5にVR用Dual Fish EyeのRF5.2mm F2.8 Lをつけて撮影できる。 180°APMPやこの後のApple Immersive Videoが、Vision Proで観ていちばん感動できると思う。 CameraからのFileは、R5の場合はCanonのVR UtilityをつかってAPMPに変換するのが前提。 一方で前述のとおり、 Candan QooCam Ultra 8K V180Modや、Lumix GH6 Stereoで撮影し、Davinci Resolve等 で変換する事例もこちらに含まれる。 35mm Full size+8Kの構成と、APS-C+4Kの構成もある。その場合、画角が 144°に、PPDが22.2から13.9に下 がってしまう。
29. @jurilog 6.APMP(5) Icon Type Camera & Lens Mono/ Stereo File Converting Solution Img Resolution PPD: Pixels Per Degree (Horizontal ) 360°APMP • GoPro MAX • Insta360 X5 Mono / Stereo GoPro Max : GoPro Quik(?) Insta360 X5 : Insta360 Studio Insta360 X5:3700? * 2 Insta360 X5 : 20.6 360°全体を観ることが可能。基本は Insta360 X5等の2D表示Cameraを前提とする。 3D表示できる360°を撮れるCameraは最近少ない… GoPro Maxでの処理については、現時点では不明点が多い。 Insta360 X5の場合は、Mac等で利用できるInsta360 StudioにAPMP出力がついた。その出力 FileをVision Proに もっていけば再生可能。よって今現在は、 Insta360の方がおすすめ。
30. @jurilog 6.APMP(6) Icon Type Camera & Lens Mono/ Stereo File Converting Solution Img Resolution PPD: Pixels Per Degree (Horizontal ) 360°APMP • GoPro MAX • Insta360 X5 Mono / Stereo GoPro Max : GoPro Quik(?) Insta360 X5 : Insta360 Studio Insta360 X5:3700? * 2 Insta360 X5 : 20.6 360°全体を観ることが可能。基本は Insta360 X5等の2D表示Cameraを前提とする。 3D表示できる360°を撮れるCameraは最近少ない… GoPro Maxでの処理については、現時点では不明点が多い。 Insta360 X5の場合は、Mac等で利用できるInsta360 StudioにAPMP出力がついた。その出力 FileをVision Proに もっていけば再生可能。よって今現在は、 Insta360の方がおすすめ。
31. @jurilog 6.APMP(7) Icon Type Camera & Lens Mono/ Stereo File Converting Solution Img Resolution PPD: Pixels Per Degree (Horizontal ) Wide FOV APMP • GoPro HERO13(Diagonal 122°, Horizontal 112°) (cf. w/Ultra Wide Lens Mod, Diagonal 177°) • Insta360 Ace Pro 2(Diagonal 118°, Horizontal 108°) Mono / Stereo GoPro HERO13: VisionOS(Quick Look) ・Use Standard Lens for GoPro Insta360 Ace Pro 2: VisionOS(Quick Look) GoPro HERO13: 5.3k 5312 × 4648 Insta360 Ace Pro2: 8K 7680 × 4320 4K 3840 × 2880 GoPro HERO13 : 47.4 Insta 360 Ace Pro2 : 71.1 手軽なわりにおすすめしたいのが、この Wide FOV APMP。 まず他の事例のように、専用の Softwareを用意する必要がない。 Vision Pro内で、Cameraの撮影FileをAPMPに 変換できて便利。 Insta360 Ace Pro 2は8Kで撮影できて、これを 2Dで表示するので水平の解像度が高い。ただ 16:9なので、上・下 が真っ暗になってしまってプレゼンスが剥がれる感じ。 4:3撮影もできるけど、その場合は 4Kになってしまうので解 像度が下がってしまう。 一方GoPro HERO13だと、5.3Kの8:7撮影ができる。水平画角も 112°あるので、正面みていれば視野全体を映像 が覆う。解像度も47.4PPDあるので十分。180°APMPとちがって、まわりはあまり見回せないが … ちなみに撮影のModeによって、Vision Proでの見え方が変わる。一番広角な、 HyperViewでの撮影がおすすめ。
32. @jurilog 6.APMP(8) Icon Type Camera & Lens Mono/ Stereo File Converting Solution Img Resolution PPD: Pixels Per Degree (Horizontal ) Apple Immersive Video Blackmagic URSA Cine Immersive Stereo Davinci Resolve Blackmagic URSA Cine Immersive : About 6600pix?(one eye) URSA Cine Immersive : 36.7 内容的には180°APMPに近い。ただしApple Immersive Videoは、¥5000kのBlackmagic URSA Cine Immersiveしか対応していない。 APMPにくらべてMetadataが多いのが特徴。 Blackmagic URSA Cine Immersiveは、ファイル自体 は8160 x 7200(片目あたり)と、ものすごい高解像度。 180°付近で換算すると6600pix程度。それでも解像度 高い。 結果180° Stereo Videoなのに36.7PPDと、Vision Pro に対しても十分な解像度をもつ。
33. 6.APMP(9) ・Day 1 Create immersive media experiences for visionOS “1日目には、visionOS 26 がどのようにして、印象的で没入感のあるインタラクティブなストーリーを伝える手助け をするのかをご紹介します。 Apple Immersive Video などのフォーマット向けに、創造的なアイデアをどのように構築するかを学び、過去の制 作事例を通じて実際の例を探ります。 空間的なインタラクションをデザインし、観客を体験の一部として物語を語る方法を発見します。 さらに、SharePlay や空間的な Persona（ペルソナ）を活用して、人々があなたのアイデアを共有し、つながる方法 についても学びます。 ” AppleのImmersive Media製作動画 - Contentの製作や、その応用 Apple Developer (Youtube) : Day 1 | Create immersive media experiences for visionOS | Meet with Apple
34. 6.APMP(10) ・Day 2 Create immersive media experiences for visionOS “2日目には、Apple Spatial Audio（空間オーディオ）とともに Apple Immersive Video を深く掘り下げます。 まったく新しいメディア体験を創り出す方法を学び、 Apple Immersive Video の始め方、新しい制作ワークフローの 探求、そしてこれまでの Apple Immersive の制作事例を詳しく見ていきます。 ” AppleのImmersive Media製作動画- Audio製作と、具体的な Content Production Apple Developer (Youtube) : Day 2 | Create immersive media experiences for visionOS | Meet with Apple
35. 7.Vision Proでのデモと、今後の普及への課題 ・ Test
36. 8.まとめ ・ Test
37. 9.Appendix ・