$30 off During Our Annual Pro Sale. View Details »

空間オーディオを活用しよう!

Chiharu Nameki
September 02, 2023

 空間オーディオを活用しよう!

iOSDC Japan 2023 day1 Track b

2021年、AirPodsにヘッドトラッキング機能が付いた際「空間オーディオ」という単語が注目を浴びました。頭を動かしても音源の位置が変化せず、あたかも現実世界に存在するかのような自然な体験…今思えばこれはApple Vision Proへの布石だったのかもしれません。

Appleによる空間オーディオは、ハードウェアとソフトウェアを組み合わせた統合的な体験であり、そのベースには映画館でもお馴染みのオブジェクトベースの音のレンダリング技術、Dolby Atmosなどが利用されています。

今一度、空間オーディオとは何かを技術的に捉え、どんなAPIがあるのかを詳しく見て行きましょう。visionOSの話?いえいえ、実はiPhoneはiPhone XSからDolby Atmosをサポートしています。アプリやサービスに空間オーディオを活用できないか、その可能性を一緒に探ってみませんか?

Chiharu Nameki

September 02, 2023
Tweet

More Decks by Chiharu Nameki

Other Decks in Technology

Transcript

  1. ۭؒΦʔσΟΦΛ׆༻͠Α͏ʂ
    ߦ໦ ઍय़ʢͳΊ͖ ͪ͸ΔʣGitHub, X @Ridwy


    Streaming Client Team, גࣜձࣾ AbemaTV
    iOSDC JAPAN 2023, day1 (9/2)

    View Slide

  2. גࣜձࣾϐΫηϥ


    Mac, iOS޲͚TVνϡʔφʔ, ಈըฤूΞϓϦ

    nana music


    ΦʔσΟΦΤϯδϯ, ΤϑΣΫλ։ൃ

    גࣜձࣾ AbemaTV


    Streaming Client Team


    ABEMA͕ରԠ͢ΔશͯͷσόΠεͷ

    ϓϨΠϠʔͷ࣮૷ͱ࠶ੜ඼࣭ͷ୲อ


    ܦྺ

    View Slide

  3. ۭؒΦʔσΟΦ
    2020/12 AirPods Max ൃද


    2021/06 Apple Music ͕ Dolby AtmosʹରԠ


    2021/10 AirPodsʢୈ̏ੈ୅ʣൃද


    View Slide

  4. “ ۭؒΦʔσΟΦ͸ɺ3࣍ݩͷ·ΔͰөըؗͷΑ͏ͳମݧΛੜΈग़͠ɺ


    ۭؒͷ͋ΒΏΔ৔ॴʹԻΛԾ૝తʹ഑ஔ͢Δ͜ͱ͕Ͱ͖… ”
    2021/10/18 AirPodsʢୈ̏ੈ୅ʣͷൃද࣌ͷϓϨεϦϦʔεΑΓ

    View Slide

  5. ͔͋ͨ΋Իݯ͕ͦ͜ʹ͋Δ͔ͷΑ͏ͳମݧ


    Ծ૝తͳঢ়گʹϦΞϦςΟΛ࣋ͨͤΒΕΔ
    ήʔϜ


    Ծ૝ੈքʹೖΓࠐΉ
    өը


    ·ΔͰөըؗͷΑ͏ͳ


    ΦʔσΟΦମݧ
    Իָɾεϙʔπதܧ


    ຅ೖײɾྟ৔ײ
    iOS 15Ҏ߱


    FaceTime


    ࿩ऀΛ۠ผ͠΍͍͢

    View Slide

  6. ϔουτϥοΩϯάʹରԠͨ͠AirPodsͳͲΛ࢖͑͹ɺΑΓମݧͷઆಘྗ͕૿͢

    View Slide

  7. xRͱͷ૬ੑ͸ൈ܈
    Apple Vision Pro ΑΓ

    View Slide

  8. AppleͷۭؒΦʔσΟΦͱ͸
    ιϑτ΢ΣΞɾϋʔυ΢ΣΞͷ૊Έ߹ΘͤʹΑͬͯ

    ԻΛԾ૝తʹ഑ஔ͠ɺͦΕʹΑͬͯ຅ೖײ͋ΔମݧΛ࣮ݱͨ͠΋ͷ

    View Slide

  9. ։ൃऀ໨ઢͰ


    ΋͏গ͠ৄ͘͠ཧղ͍ͨ͠

    View Slide

  10. ΦʔσΟΦػثͷൃల

    View Slide

  11. Ϟϊϥϧ
    εϐʔΧʔ1ͭ


    ࠷΋γϯϓϧͳߏ੒

    View Slide

  12. εςϨΦ
    εϐʔΧʔ2ͭͰ


    ࠨӈͷ޿͕Γ(Pan) Λදݱ


    View Slide

  13. γϯϓϧͳPanͷख๏


    Equal Power Panning
    ࠨӈͷεϐʔΧʔʹׂΓৼΔԻྔΛม͑Δ͜ͱͰ


    Ծ૝తͳԻͷҐஔ͕มԽ
    ৼ෯
    ԻݯͷҐஔ
    L R

    View Slide

  14. Ϛϧννϟϯωϧ
    өըԻڹͱڞʹൃల
    L C R
    S
    1970೥୅
    4 ch

    View Slide

  15. Ϛϧννϟϯωϧ
    өըԻڹͱڞʹൃల
    L C R
    SL
    5 ch
    SR
    αϥ΢ϯυ͕εςϨΦԽ

    View Slide

  16. Ϛϧννϟϯωϧ
    өըԻڹͱڞʹൃల
    L C R
    SL
    5.1 ch
    SR
    ௿Ի੒෼͕෼཭
    1990೥୅
    LFE

    View Slide

  17. 5.1 chͷ .1 ͸௿Իઐ༻νϟϯωϧ
    ௿Իͷಛ௃
    • ฉ͖औΓʹ͍͘

    ௿Ի͕͔ͬ͠Γௌ͑͜ΔΑ͏ʹ͢Δʹ͸ɺৼ෯Λେ͖͘ه࿥͢Δඞཁ͕͋Δ

    தԻҬҎ্ʹదͨ͠ઃఆͰ͸ԻׂΕͯ͠͠·͏

    • ࢦ޲ੑ͕͋·Γͳ͘෦԰શମʹڹ͘
    ௿Ի੒෼Λ෼཭ͯ͠ઐ༻ͷ̍νϟϯωϧʹ

    View Slide

  18. Ϛϧννϟϯωϧ
    өըԻڹͱڞʹൃల
    L C R
    SL
    6.1 ch
    SR
    LFE
    BS

    View Slide

  19. Ϛϧννϟϯωϧ
    өըԻڹͱڞʹൃల
    L C R
    BSL
    7.1 ch
    BSR
    LFE
    SL SR

    View Slide

  20. ͨ͘͞ΜͷεϐʔΧʔΛઃஔ͢Δͷ͕େม
    ՈఉͰ͸͞Βʹ೉қ౓͕ߴ͍

    • ਖ਼֬ͳҐஔʹઃஔ͠ͳ͚Ε͹ɺਖ਼͘͠Ի͕࠶ݱ͞Εͳ͍

    • ۤ࿑ͷׂʹεΠʔτεϙοτʢૉ੖Β͍͠Իڹମݧ͕Ͱ͖ΔΤϦΞʣ͕ڱ͍
    ϚϧννϟϯωϧΦʔσΟΦͷݱ࣮తͳ໰୊
    өըؗʹ΋


    ݶք͸͋ΔΑ😂
    εϖʔεͱࢿۚ💰͕ඞཁ

    View Slide

  21. ΦϒδΣΫτϕʔεΦʔσΟΦొ৔

    View Slide

  22. ෺ମ͕ൃ͢ΔԻ
    🕊
    +
    ෺ମͷҐஔͳͲͷϝλ৘ใ
    ΦϒδΣΫτͷԻͱҐஔΛه࿥

    View Slide

  23. ࠶ੜ࣌͸ͦΕͧΕͷߏ੒ʹ߹ΘͤͯεϐʔΧʔ͔Βग़ΔԻΛ


    ϦΞϧλΠϜʹܭࢉʢ=ϨϯμϦϯάʣ
    🕊
    🕊
    🕊

    View Slide

  24. εϐʔΧʔ޲͚ϨϯμϦϯά
    p
    l1
    l2
    l3
    p = g1l1 + g2l2 + g3l3
    3ͭͷεϐʔΧʔͰͷ3D-VBAP, Pulkki 1997

    View Slide

  25. εϐʔΧʔʹνϟϯωϧΛׂΓ౰ͯΔैདྷͷํ๏ͩͱ


    খ͞ͳσόΠεʹεςϨΦεϐʔΧʔΛ෇͚ͯ΋


    Իͷ޿͕Γ͕͍·͍ͪ
    ৼ෯
    ԻݯͷҐஔ
    L R
    Իͷ޿͕Γ͸


    εϐʔΧʔͷִ͕ؒ࠷େ 😕
    Equal Power Panning

    View Slide

  26. σόΠεͷ෯Ҏ্ͷ޿͕ΓΛײ͡ΒΕΔΑ͏ʹ


    ϨϯμϦϯά͢Δ͜ͱ΋Մೳʂ

    View Slide

  27. εςϨΦԻݯΛͦͷ··ϔουϗϯͰௌ͘ͱ
    Իݯ͕಄ͷதʹ͋ΔΑ͏ͳ…ʁ
    ಄಺ఆҐ
    🎸
    ϔουϗϯ޲͚ϨϯμϦϯά


    View Slide

  28. ਓ͸࠷ऴతʹ2ͭͷࣖͰԻΛฉ͘
    ྆ࣖͷೖΓޱͷԻΛ࠶ݱͰ͖Ε͹ɺۭؒతͳ޿͕Γ͕ײ͡ΒΕΔ͸ͣ
    ϔουϗϯ޲͚ϨϯμϦϯά

    View Slide

  29. ϔουϗϯ޲͚ϨϯμϦϯά
    ڑ཭ʹΑΔݮਰɾ஗Ԇ
    ํ޲ʹΑΔ


    ࠨӈͷฉ͑͜ํͷҧ͍
    +
    ಄෦ʹΑΔ


    ःṭޮՌ
    ಄෦఻ୡؔ਺ͰγϛϡϨʔτ
    HRTF: Head Related Transfer Function

    View Slide

  30. ϔουϗϯ޲͚ϨϯμϦϯά
    ΦϒδΣΫτͷҐஔ৘ใ
    ڑ཭3 ํ֯П В
    ΦϒδΣΫτͷԻ
    ڑ཭ʹԠͯ͡
    ݮਰɾ஗Ԇ
    )35'@-FGU
    )35'@3JHIU
    3 П В
    .*9&3
    ΦϒδΣΫτͷҐஔ৘ใ
    ڑ཭3 ํ֯П В
    ΦϒδΣΫτͷԻ
    ڑ཭ʹԠͯ͡
    ݮਰɾ஗Ԇ
    )35'@-FGU
    )35'@3JHIU
    3 П В
    ʜ
    3
    -

    View Slide

  31. ैདྷ͔Βͷϔουϗϯ޲͚ͷख๏


    όΠϊʔϥϧ࿥Ի
    μϛʔϔου or ࿥ԻऀͷࣖʹϚΠΫΛ૷ண


    ಄෦఻ୡؔ਺·ͰՃຯͨ͠Ի͕࿥ԻͰ͖Δ
    NEUMANN KU100

    View Slide

  32. ීٴ͍ͯ͠ΔΦϒδΣΫτΦʔσΟΦͷܗࣜ
    • Dolby Atmos


    • DTS:X


    • 360 Reality Audio

    View Slide

  33. Dolby Atmos
    • Dolby Laboratories, Inc.ʹΑͬͯөըԻڹͷͨΊʹ։ൃ͞Εͨ


    • ࠷େ 7.1.2 ch ͷϕου + 118ݸͷΦϒδΣΫτ


    3ͭ໨ͷ਺ࣈ.2͸্ํͷνϟϯωϧ਺


    • ैདྷͷԻ੠ه࿥ํࣜ Dolby Digital Plus (E-AC-3) ΍Dolby TrueHDͷ

    ֦ுྖҬʹه࿥͞ΕԼҐޓ׵ੑ͕͋Δ





    ഑৴޲͚



    ϒϧʔϨΠ޲͚ Lossless

    View Slide

  34. ैདྷͷػث΁ͷԼҐޓ׵ੑͷ࢓૊Έ
    • Dolby AtmosඇରԠͷσίʔμʔ͸֦ுྖҬΛແࢹ͢Δ


    • ΦϒδΣΫτͷԻ΋͋Β͔͡ΊνϟϯωϧʹϨϯμϦϯά͞Ε͍ͯΔͷͰ

    ඇରԠͷػثͰ΋ௌ͚Δ


    • ରԠػث͸֦ுྖҬͷ৘ใ΋ซͤͯ࢖͏ࣄͰΦϒδΣΫτͱຊདྷͷϕουͷԻΛ࠶ݱ


    %PMCZ%JHJUBM1MVT
    PS
    %PMCZ5SVF)% %PMCZ"UNPT
    ֦ுྖҬ
    νϟϯωϧͷ೾ܗ Joint Object Coding

    View Slide

  35. DTS:X
    • DTSࣾʹΑΔϑΥʔϚοτ


    • ൺֱతॊೈͳεϐʔΧʔϨΠΞ΢τ


    • ैདྷͷνϟϯωϧϕʔεͷԻ੠ه࿥ํࣜ DTS-HD Master Audioͷ

    ֦ுྖҬʹه࿥͞ΕΔ


    • Ի࣭Λॏࢹ͠ѹॖ཰͸௿͍ͨΊɺ༰ྔʹ༨༟ͷ͋ΔBlu-rayσΟεΫ޲͖


    %54%JHJUBM4VSSPVOE %54)%.BTUFS"VEJP %549

    View Slide

  36. 360 Reality Audio
    • SonyʹΑָͬͯۂͷετϦʔϛϯά༻్Ͱ࡞ΒΕͨ


    • ଍ݩΛؚΉશํҐ͔ΒͷԻʹରԠ


    • MPEG-H 3D AudioΛϕʔεʹ

    ഑৴ϏοτϨʔτͳͲͷऔΓܾΊΛ௥Ճͨ͠΋ͷ


    • σίʔυͱϨϯμϦϯά͕Ͱ͖ΔϥΠϒϥϦ͕ఏڙ͞Ε͍ͯΔ


    αϯϩΫϚϧ

    View Slide

  37. ۭؒΦʔσΟΦ͸

    Ϛϧννϟϯωϧͱ

    ΦϒδΣΫτϕʔεΦʔσΟΦ

    ͷར఺Λੜ࣮ͯ͠ݱ͞Ε͍ͯΔ

    View Slide

  38. 🕊
    ͔͋ͨ΋ͦ͜ʹԻݯ͕͋Δ͔ͷΑ͏ͳମݧ
    ϨϯμϦϯά

    View Slide

  39. ഭྗ͋Δ௿Ի
    ϚϧννϟϯωϧͰͷ௿Իͷ෼཭

    View Slide

  40. iPhone΍MacBookͷ಺ଂεϐʔΧʔ͔Βͷ


    ޿͕Γ͋Δ๛͔ͳα΢ϯυ
    ࠶ੜػثʹ߹ΘͤͨϨϯμϦϯά

    View Slide

  41. ΞϓϦͰۭؒΦʔσΟΦΛ


    ར༻͢Δʹ͸

    View Slide

  42. ۭؒΦʔσΟΦͷϢʔεέʔε
    ಈըɾԻָ


    ίϯςϯπ࠶ੜ
    ήʔϜ


    FaceTimeͳͲͷΞϓϦ
    🕊

    View Slide

  43. ಈըɾԻָίϯςϯπ࠶ੜ༻API
    • AVPlayer


    • AVSampleBufferAudioRenderer

    AVSampleBufferRenderSynchronizerͱͷ૊Έ߹ΘͤʹΑΔΧελϜϓϨΠϠʔ


    • ϒϥ΢βͷ Media Source Extension λά
    Ϛϧννϟϯωϧ΍Dolby Atmosͷ࠶ੜʹରԠ͍ͯ͠ΔϓϨΠϠʔ

    View Slide

  44. allowedAudioSpatializationFormats ϓϩύςΟ
    ίϯςϯπΛ“ۭؒԽ”ͯ͠ྑ͍͔Ͳ͏͔
    AVPlayerItem, AVSampleBu
    ff
    erAudioRenderer
    .monoAndStereo ϞϊϥϧͱεςϨΦͷۭؒԽΛڐՄ
    .multichannel
    ϚϧννϟϯωϧͷΈۭؒԽΛڐՄ


    Իָͷ৔߹ͷσϑΥϧτ
    .monoStereoAndMultichannel
    ϞϊϥϧɾεςϨΦɾϚϧννϟϯωϧͷ


    ۭؒԽΛڐՄ


    ಈըͷ৔߹ͷσϑΥϧτ

    View Slide

  45. ۭؒԽ (spatialization)ॲཧͱ͸ʁ
    ⚠ ίϯιʔϧϩά͔ΒͷਪଌͰ͢
    Decoder
    AUScotty


    2ch → 5.1ch


    Up Mix
    AUSpatial


    Mixer
    Stereo
    L
    R
    ηϯαʔ஋
    Decoder
    AUSpatial


    Mixer
    Multichannel
    L
    R
    ηϯαʔ஋
    👆ίίʂ(ͨͿΜ)

    View Slide

  46. ۭؒԽ͠ͳ͍ͱ…
    Decoder
    Stereo
    L
    R
    Decoder
    Multichannel
    L
    R

    ैདྷ௨ΓͷεςϨΦ
    LͱR͔͠ฉ͑͜ͳ͍ʂ
    item.allowedAudioSpatializationFormats = []

    View Slide

  47. Ի੠ίϯςϯπͷσϑΥϧτ͸.multichannel
    Decoder
    Stereo
    L
    R
    ैདྷ௨ΓͷεςϨΦ
    Decoder
    AUSpatial


    Mixer
    Multi-channel
    L
    R
    ηϯαʔ஋
    όΠϊʔϥϧ࿥Ի͸͢Ͱʹ྆ࣖͷೖΓޱͷԻʹ


    ͳ͍ͬͯΔͨΊۭؒԽ͢Δ΂͖Ͱ͸ͳ͍

    View Slide

  48. HTTP Live StreamingͱۭؒԽ
    • ෯޿͍σόΠεΛαϙʔτ͢Δඞཁ͕͋ΔͨΊɺଟ͘ͷVariantΛ༻ҙ͢Δ


    • ࠶ੜ୺຤͸ࣗ਎͕࠶ੜͰ͖ΔVariantΛ௨৴ঢ়ଶΛՃຯͯ͠ಈతʹબͿ
    HLSʹΑΔετϦʔϜ഑৴
    AAC BINAURAL
    AC3 5.1ch
    EAC3 w/JOC Dolby Atmos
    AAC 2ch
    • allowedAudioSpatializationFormatsͰ

    ڐՄ͞Ε͍ͯͳ͍΋ͷ͸બ͹Εͳ͍ͷͰ

    جຊ .monoStereoAndMultichannel


    • όΠϊʔϥϧ൛͸ઃఆʹΑΒۭͣؒԽ͞Εͳ͍

    CHANNEL=“2/-/BINAURAL”
    VariantؒͷԻͷେ͖͞Λἧ͑ΔͨΊ


    ϝλσʔλΛೖΕΔͷ͕๬·͍͠

    View Slide

  49. ۭؒΦʔσΟΦͷग़ྗ͕Մೳ͔ʁ
    AVAudioSessionPortDescription


    isSpatialAudioEnabled
    iOS, tvOS
    ϋʔυ΢ΣΞͷೳྗ ੾Γସ͑ΒΕΔ৔߹


    ۭؒԽΦϯ
    +

    View Slide

  50. ग़ྗઌ ۭؒΦʔσΟΦ isSpatialAudioEnabled
    iPhone 14 Pro


    ಺ଂεϐʔΧʔ
    ੾Γସ͑ෆՄ true
    iPhone 5s


    ಺ଂεϐʔΧʔ
    ੾Γସ͑ෆՄ false
    AirPods (ୈ̏ੈ୅) Φϑ false
    AirPods (ୈ̏ੈ୅)
    ݻఆ,


    ϔουτϥοΩϯά
    true
    SOUNDPEATS


    BluetoothΠϠϗϯ
    ੾Γସ͑ෆՄ false
    isSpatialAudioEnabledͷ஋ͷྫ
    ಺ଂεϐʔΧʔͷ


    ۭؒΦʔσΟΦରԠ͸


    iPhone XS ͔Βʂ

    View Slide

  51. Control CenterͰͷۭؒԽͷ੾Γସ͑
    • NowPlayingͷରԠΛߦ͏

    • બ୒࣌ʹ௨஌͕དྷΔ


    AVAudioSession

    .spatialPlaybackCapabilitiesChangedNotification


    w/ AVAudioSessionSpatialAudioEnabledKey

    View Slide

  52. • ͜ͷ෦෼͸AVPlayer͕දࣔΛ؅ཧ


    • AVPlayerҎ֎Λར༻࣌͸


    AVAudioSession

    setSupportsMultichannelContent(_:)


    Ͱઃఆ

    View Slide

  53. • AURemoteIO


    • AudioQueue
    NowPlayingͷରԠΛ͢Ε͹ɺόοϑΝΛ௚઀ग़ྗ͢Δέʔε΋ۭؒԽͰ͖Δ

    View Slide

  54. ۭؒΦʔσΟΦ”ରԠ”ͷ iPhone
    ෳ਺ཁૉͷ૊Έ߹ΘͤͰ࣮ݱ͞Ε͍ͯΔͷͰ


    ඞཁͳػೳͷαϙʔτൣғΛνΣοΫʂ
    https://support.apple.com/ja-jp/HT211775
    AirPods ΍ Beats ͰۭؒΦʔσΟΦΛମݧ͢Δ
    https://developer.dolby.com/platforms/apple/ios/device-support/
    Dolby Audio Apple iOS Device Support Dolby Developer
    iPhone 5s
    Dolby Digital, Dolby Digital Plus ͷσίʔμ౥ࡌ


    ※ Appleͷࢿྉʹ͸هࡌͳ͠
    iPhone 7 AirPodsͱ࿈ܞՄ
    iPhone XS
    Dolby AtmosͷσίʔμΛ౥ࡌ


    ಺ଂεϐʔΧۭؒΦʔσΟΦରԠ
    ͪͳΈʹMacͷ಺ଂεϐʔΧʔ͸AppleγϦίϯ͔ΒରԠ ͔ͳΓߴ඼ҐͳͷͰͥͻDolbyͷαϯϓϧͳͲΛฉ͍ͯΈͯ

    View Slide

  55. ۭؒΦʔσΟΦରԠͷΠϠϗϯɾϔουϗϯ
    • AirPods (ୈ̏ੈ୅)


    • AirPods Pro


    • AirPods MAX


    • BeatsʢAppleࡿԼʣͷରԠϞσϧ
    ΋͏গ͋͠Δͱ͍͍ͳ͊


    🤔
    ඇରԠͷBluetoothΠϠϗϯʹ޲͚ͯग़དྷΔ͜ͱ


    • όΠϊʔϥϧ൛Λఏڙ


    • ΞϓϦ಺ͰϨϯμϦϯά·Ͱߦͬͯ͠·͏

    View Slide

  56. ήʔϜ΍FaceTimeͷΑ͏ͳػೳͷͨΊͷAPI
    • PHASE

    Physical Audio Spatialization Engine


    • RealityKit, Reality Composer Pro


    • SceneKit
    🕊
    WWDC21 ~ 23 ʹ


    ଟ਺ηογϣϯ͋Γ😀
    ҎԼͷFrameworkͰαϙʔτ

    View Slide

  57. Recap
    • ۭؒΦʔσΟΦʹΑͬͯಘΒΕΔମݧ


    • ϚϧννϟϯωϧͱΦϒδΣΫτϕʔεΦʔσΟΦͷར఺


    • ΞϓϦͰ׆༻͢ΔͨΊͷAPIͱͦͷڍಈ

    View Slide

  58. f
    ind a key moment
    WWDC23 Principles of spatial designΑΓ
    ฉ͑͜ํͷಛ௃
    1ͭ1ͭͷԻݯͷԻ͕ࠞ͟Βͳ͍


    ۭؒͷ೚ҙͷҐஔʹ഑ஔͰ͖Δ


    ࿩ऀ΍ָثͷύʔτͳͲΛฉ͖෼͚΍͍͢


    ॏ௿Ի΋ײ͡΍͍͢



    View Slide

  59. ࢀߟʹͨ͠WWDCηογϣϯ
    WWDC21 Immerse your app in Spatial Audio


    νϟϨϯδ: ۭؒΦʔσΟΦͷα΢ϯυεέʔϓ
    ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

    View Slide