Upgrade to Pro — share decks privately, control downloads, hide ads and more …

空間ビデオフォーマット、MV-HEVCが写し撮る世界

 空間ビデオフォーマット、MV-HEVCが写し撮る世界

iOSDC Japan 2024 day1 Track D

Apple Vision Proで空間ビデオを見るのは、まるでその場にいるかのようなリアルで素晴らしい体験です。この空間ビデオの記録にはMV-HEVC(Multiview High Efficiency Video Coding)という規格が用いられています。「Multiview」とは左右の目それぞれのフレームを指し、視差まで再現できるため、平面的なディスプレイにはないリアルさを感じられるようになっています。

では、どのように撮影を行えば良いのでしょうか?配信時に注意すべき点は?さらに、Vision Pro以外のユーザーにはどのように対応するのでしょうか?本トークではこれらの疑問に答えつつ、MV-HEVCに焦点を当て、この規格を理解し、空間ビデオの持つポテンシャルと具体的な活用方法について考察します。

規格自体のリリースは2014年と古く、両目の視差を利用した立体視に関してはさらに前から研究が行われており、ステレオスコピック動画の撮影のコツや、どんな表現に向いているのかについてはそれらを参考にできます。AVFoundationとVideoToolboxのAPIを使って2台のカメラで撮った動画から空間ビデオを作成する方法も紹介します。
このトークが、空間ビデオを活用した新しい魅力的な体験を構築する一助となれば、非常に嬉しく思います。

Chiharu Nameki

August 23, 2024
Tweet

More Decks by Chiharu Nameki

Other Decks in Technology

Transcript

  1. גࣜձࣾϐΫηϥ Mac, iOS޲͚TVνϡʔφʔ, ಈըฤूΞϓϦ nana music ΦʔσΟΦΤϯδϯ, ΤϑΣΫλ։ൃ גࣜձࣾ AbemaTV

    Streaming Client Team ABEMA͕ରԠ͢ΔશͯͷσόΠεͷ ϓϨΠϠʔͷ࣮૷ͱ࠶ੜ඼࣭ͷ୲อ ܦྺ 3DΧϝϥ΍3DςϨϏͱग़ձ͏ ഑৴ܗࣜͳͲΛৄ͘͠஌Γ͍ͨʂ
  2. ࢹ͕ࠩখ͚͞Ε͹᫔᫓ͱௐઅͷෆҰகʹΑΔෆշײ͸ײ͡ʹ͍͘ • ࢹ͕ࠩ͋·Γʹ΋େ͖͍ͱ྆໨ͷ૾Λ༥߹Ͱ͖ͳ͍ • ࢹࠩ2౓ҎԼ → ཱମײΛ͔ͬ͠Γײ͡Δ͕ർΕΔ • ࢹࠩ1౓ҎԼ →

    ཱମײ͸ऑ͍͕ɺ௕࣌ؒݟͯ΋շద • ݁ہεΫϦʔϯ໘෇͕ۙҰ൪ݟ΍͍͢ 😇 ର৅෺ͷڑ཭ʹ஫ҙͯ͠ө૾Λ੍࡞͢Δ ͕͜͜໨҆ʂ
  3. ௨ৗࢹྗ = 2఺Λ෼཭Ͱ͖Δ ෼཭ᮢ: 1 ෼֯ʢ1/60౓ʣ 2DͷσΟεϓϨΠ΍ө૾ૉࢠ͸ɺ͜ΕΛຬ଍ͤ͞Δ͜ͱΛ໨ඪʹ࡞ΒΕ͍ͯΔ ཱମࢹྗ = Ԟߦ͖ͷࠩΛײ͡Δ͜ͱ͕Ͱ͖Δ

    ෼཭ᮢ: 2 ඵ֯ ௨ৗࢹྗͷ30ഒʂ ͬͪ͜΋ຬ଍͍ͤͨ͞ʂ ※ ࢀߟ: Vision Pro ղ૾౓ ย໨ 3660 x 3200 → 90°/3660 ≒ 1.5෼֯
  4. HEVC (H.265) ͸ AVC (H.264) ΑΓߴղ૾౓ͷө૾Λޮ཰Α͘ѹॖͰ͖Δ HEVC ( High Ef

    f iciency Video Coding ) "7$ ) $6Y )&7$ ) $6Մม
  5. MV-HEVC ( Multiview HEVC) ࣌ؒతʹ͍ۙϑϨʔϜ͕ࣅ͍ͯΔ͜ͱΛར༻ͯ͠ѹॖ ෳ਺ͷViewΛѻ͑ΔΑ͏ʹʹ֦ுͨ͠HEVC ISO/IEC 23008-2 (ITU H.265),

    2014 I B B B B B B B P ࠨ໨༻ͷView Layer 0 P B B B B B B B P Viewؒͷ ྨࣅ΋ར༻ ͯ͠ѹॖ ӈ໨༻ͷView Layer 1 ͜ͷ֦ுʹඇରԠͷHEVCσίʔμͰ͸ϕʔεͷLayer 0͚͕ͩग़ྗ͞ΕΔ
  6. ࢹࠩө૾ʹؔ͢Δ৘ใͷอଘϑΥʔϚοτ΋ެ։͞Εͨ 2023/6/21 Version 0.9 (Beta) vexu eyes stri hero Video

    Extended Usage Box Stereo View Information Box Hero Stereo Eye DescriptionBox
  7. MV-HEVC Τϯίʔμʔ/σίʔμʔ Vision Proͷొ৔Ҏ߱ɺ࣮૷͕ग़࢝Ί͍ͯΔ • Apple APIఏڙ͋Γ AVAssetWriterInputTaggedPixelBufferGroupAdaptor, iOS 17+

    AVPlayerVideoOutput, iOS 17.2+ • MainConcept @ NAB Show 2024 • Ateme ffmpegͳͲͷπʔϧͷରԠ͸ࠓޙʹظ଴ Τϯίʔυ σίʔυ
  8. ࢹࠩಈըͷετϦʔϛϯά Stereoscopic Video on HTTP Live Streaming ετϦʔϜͷө૾ϨΠΞ΢τΛࣔͨ͢Ίͷଐੑ REQ-VIDEO-LAYOUT •

    CH-MONO ैདྷͷ2Dө૾ • CH-STEREO ࢹࠩө૾ #EXTM3U #EXT-X-VERSION:12 #EXT-X-STREAM-INF:BANDWIDTH=910558, ...(ུ)... ,REQ-VIDEO-LAYOUT="CH-STEREO" prog_index.m3u8
  9. Apple͕ఏڙ͢Δ 3ͭͷۭؒϝσΟΞࢹௌମݧ • 3DϏσΦ • Apple Immersive Video • ۭؒϏσΦ

    ࢹཱࠩମࢹʹΑΔಈըମݧΛ"QQMF͸ͲͷΑ͏ʹϓϩμΫτԽͨ͠ͷ͔ʁ શͯʹ.7)&7$͕ར༻͞Ε͍ͯΔ
  10. Apple Immersive Video ɹࢹ໺͍ͬͺ͍ʹ޿͕Δ຅ೖײ͋Δϓϩίϯςϯπ • Apple TVΞϓϦͰͷࢹௌ • ίϯςϯπ͸·ͩগͳ͍͕ɺଓʑͱAppleͰ੍࡞͕ਐΜͰ͍Δ •

    180౓ͷࢹ໺֯ • ย໨8K 3DϏσΦ • ۭؒΦʔσΟΦ ϑΥʔϚοτͷৄࡉ͸ෆ໌ ഑৴͞Ε͍ͯΔετϦʔϜΛΩϟϓνϟͯ͠ݟΔͱ... MV-HEVC ย໨4320×4320, 90fps, HDR10, Fish-eye෩ͷProjectionʢ౤Өํ๏ʣ
  11. Apple Immersive Video͕ݟΒΕΔͷ͸ Apple TVΞϓϦ͚ͩ...ʁ • ͨͿΜͦ͏ ࠓͷॴɺ࠶ੜAPI͸ఏڙ͞Ε͍ͯͳ͍ • Reality

    Composer ProͰࢹքΛ෴͏Α͏ʹͯ͠ಈըΛ࠶ੜ͢Ε͹ ྨࣅͷମݧ͸ఏڙͰ͖Δ
  12. ۭؒϏσΦ • ࣮෺େ + Ԟߦ͖ײͰࢥ͍ग़ͷ৔໘ʹ໭͔ͬͨͷΑ͏ͳମݧ • ࢹքશͯΛ෴͑ΔΘ͚Ͱ͸ͳ͘ɺ90౓ఔ౓·Ͱ • ϑνͷ෦෼͸΅͔͞ΕͨදࣔʹͳΔ •

    ެࣜͷࣸਅΞϓϦɺQuickLook framework ͷ PreviewApplication APIͰ࠶ੜՄೳ • Final Cut ProͰฤूՄೳʹͳΔ༧ఆ iPhone 15 Pro ΍ Vision Pro ͰϢʔβʔ͕ࡱӨՄೳʂ
  13. ۭؒϏσΦ͕ࡱӨͰ͖ΔσόΠε iPhone 15 Pro, iPhone 15 Pro Max • ެࣜͷΧϝϥΞϓϦ,

    iOS 17.2+ • AVCaptureSession, iOS 18+ Vision Pro • ެࣜͷΧϝϥΞϓϦ, visionOS 1.0+ ޿֯ ௒޿֯ ๬ԕ ۙ͘ΛࡱΔͷʹ޲͍͍ͯΔϨϯζ2ͭ ޿֯ͱ௒޿֯Λԣฒͼʹͯ͠ར༻ ※ iPhone 14 ProͰ͸Ϩϯζ഑ஔ͕ҟͳΔͨΊࡱӨͰ͖ͳ͍
  14. ࢹ͕ࠩখ͚͞Ε͹᫔᫓ͱௐઅͷෆҰகʹΑΔෆշײ͸ײ͡ʹ͍͘ • ࢹ͕ࠩ͋·Γʹ΋େ͖͍ͱ྆໨ͷ૾Λ༥߹Ͱ͖ͳ͍ • ࢹࠩ2౓ҎԼ → ཱମײΛ͔ͬ͠Γײ͡Δ͕ർΕΔ • ࢹࠩ1౓ҎԼ →

    ཱମײ͸ऑ͍͕ɺ௕࣌ؒݟͯ΋շద • ݁ہεΫϦʔϯ໘෇͕ۙҰ൪ݟ΍͍͢ 😇 ର৅෺ͷڑ཭ʹ஫ҙͯ͠ө૾Λ੍࡞͢Δ ͕͜͜໨҆ʂ ࠶ܝ
  15. ͲΕ͚ͩ཭ΕΕ͹ྑ͍ͷ͔ʁ ࢹࠩ1౓ҎԼʹͳΔ࠷୹ͷࡱӨڑ཭͸ɺϨϯζִؒʹൺྫ σόΠε Baseline ʢϨϯζִؒʣ ࠷୹ڑ཭ Appleਪ঑ͷࡱӨڑ཭ iPhone 15 Pro

    iPhone 15 Pro Max 19.24mm 55cm 90cm ʙ 240cm Vision Pro 63.76mm 1.8m - iPhone͸ख࣋ͪɺVision Pro͸ΰʔάϧܕͳͷͰɺͪΐ͏Ͳྑ͍ڑ཭
  16. ۭؒϏσΦ = MV-HEVC + ۭؒϝλσʔλ • Projection ౤Өํ๏ • Baseline

    Ϩϯζִؒ • Field of View ࢹ໺֯ • Disparity Adjustment ࢹࠩௐ੔ ࡱӨͷઃఆ "࣮෺େ" Λ࠶ݱ͢ΔͨΊʹ ར༻͞Ε͍ͯͦ͏ UI্Ͱඃࣸମ͕ Windowͷ໘ͷഎޙʹདྷΔΑ͏ʹ͢Δ
  17. σόΠε Baseline Ϩϯζִؒ Field of View ࢹ໺֯ Disparity Adjustment ࢹࠩௐ੔

    iPhone 15 Pro 19.24mm 63.4౓ 2% Vision Pro 63.76mm 71.59౓ 2.93% ۭؒϝλσʔλͷྫ
  18. ۭؒࣸਅ Vision Pro ͰࡱӨՄೳʢۭؒϏσΦͷࣸਅ൛ʣ • εςϨΦ HEIC + ۭؒϝλσʔλ •

    ެࣜͷࣸਅΞϓϦɺ QuickLook framework ͷ PreviewApplication APIɺ JavaScriptͷElement FullScreen API ͰݟΔ͜ͱ͕Ͱ͖Δ • ಡΈࠐΈɾॻ͖ग़͠͸ Core Graphics API ͰՄೳ UIImageViewͰ͸ ཱମʹͳΒͳ͍
  19. ۭؒϏσΦΛऔΓר͘ঢ়گ • ࡱӨɾ࠶ੜ • Τϯίʔυɾσίʔυ • ϑΥʔϚοτ࢓༷ APIఏڙ APIఏڙ Pro

    f ileͳͲ͕ެ։ʢЌʣ ΧϝϥΞϓϦ ฤूΞϓϦ VRήʔϜͷۭؒεΫγϣ ARάϥεͳͲͰݟΔ Χϝϥ΍ϑΥτϑϨʔϜ ARσόΠεͳͲ͕ରԠ͢ΔՄೳੑ Ͱ͖ͦ͏ͳ͜ͱ
  20. Canon EOS R7޲͚ ۭؒϏσΦࡱӨ༻Ϩϯζ RF-S7.8mm F4 STM DUAL lens 2024೥ޙ൒ൃച༧ఆ

    VITURE One, VITURE Pro ެࣜ SpaceWalker ΞϓϦͰ ۭؒϏσΦ࠶ੜՄೳ ۭؒϏσΦͷΞοϓϩʔυ, ࠶ੜɾγΣΞΛαϙʔτ༧ఆ Vimeo 3rd PartyͷରԠɺଓʑ
  21. ެࣜ Sample Code͕ॆ࣮ Converting side-by-side 3D video to multiview HEVC

    and spatial video https://developer.apple.com/documentation/avfoundation/media_reading_and_writing/converting_side-by- side_3d_video_to_multiview_hevc_and_spatial_video macOS 15.0+ αΠυόΠαΠυͷಈը → CMTaggedBuffer → MV-HEVC, ۭؒϏσΦ Reading multiview 3D video files https://developer.apple.com/documentation/avfoundation/media_reading_and_writing/reading_multiview_3d_video_ f iles macOS 14.0+ MV-HEVC → CVPixelBuffer Writing spatial photos https://developer.apple.com/documentation/imageio/writing-spatial-photos macOS 14.0+ 2ຕͷը૾ → ۭؒࣸਅ WWDC24, Build compelling spatial photo and video experiences 6:19 - Spatial video capture on iPhone 15 Pro iOS 18+ Beta Beta