空間オーディオを活用しよう！

iOSDC Japan 2023 day1 Track b

2021年、AirPodsにヘッドトラッキング機能が付いた際「空間オーディオ」という単語が注目を浴びました。頭を動かしても音源の位置が変化せず、あたかも現実世界に存在するかのような自然な体験…今思えばこれはApple Vision Proへの布石だったのかもしれません。

Appleによる空間オーディオは、ハードウェアとソフトウェアを組み合わせた統合的な体験であり、そのベースには映画館でもお馴染みのオブジェクトベースの音のレンダリング技術、Dolby Atmosなどが利用されています。

今一度、空間オーディオとは何かを技術的に捉え、どんなAPIがあるのかを詳しく見て行きましょう。visionOSの話？いえいえ、実はiPhoneはiPhone XSからDolby Atmosをサポートしています。アプリやサービスに空間オーディオを活用できないか、その可能性を一緒に探ってみませんか？

Transcript

1. ۭؒΦʔσΟΦΛ׆༻͠Α͏ʂ ߦ໦ ઍय़ʢͳΊ͖ ͪ͸ΔʣGitHub, X @Ridwy Streaming Client Team, גࣜձࣾ AbemaTV iOSDC JAPAN 2023, day1 (9/2)
2. גࣜձࣾϐΫηϥ Mac, iOS޲͚TVνϡʔφʔ, ಈըฤूΞϓϦ 
 nana music ΦʔσΟΦΤϯδϯ, ΤϑΣΫλ։ൃ 
 גࣜձࣾ AbemaTV Streaming Client Team ABEMA͕ରԠ͢ΔશͯͷσόΠεͷ 
 ϓϨΠϠʔͷ࣮૷ͱ࠶ੜ඼࣭ͷ୲อ ܦྺ
3. ۭؒΦʔσΟΦ 2020/12 AirPods Max ൃද 2021/06 Apple Music ͕ Dolby AtmosʹରԠ 2021/10 AirPodsʢୈ̏ੈ୅ʣൃද
4. “ ۭؒΦʔσΟΦ͸ɺ3࣍ݩͷ·ΔͰөըؗͷΑ͏ͳମݧΛੜΈग़͠ɺ ۭؒͷ͋ΒΏΔ৔ॴʹԻΛԾ૝తʹ഑ஔ͢Δ͜ͱ͕Ͱ͖… ” 2021/10/18 AirPodsʢୈ̏ੈ୅ʣͷൃද࣌ͷϓϨεϦϦʔεΑΓ
5. ͔͋ͨ΋Իݯ͕ͦ͜ʹ͋Δ͔ͷΑ͏ͳମݧ Ծ૝తͳঢ়گʹϦΞϦςΟΛ࣋ͨͤΒΕΔ ήʔϜ Ծ૝ੈքʹೖΓࠐΉ өը ·ΔͰөըؗͷΑ͏ͳ ΦʔσΟΦମݧ Իָɾεϙʔπதܧ ຅ೖײɾྟ৔ײ iOS 15Ҏ߱ FaceTime ࿩ऀΛ۠ผ͠΍͍͢
6. ϔουτϥοΩϯάʹରԠͨ͠AirPodsͳͲΛ࢖͑͹ɺΑΓମݧͷઆಘྗ͕૿͢
7. xRͱͷ૬ੑ͸ൈ܈ Apple Vision Pro ΑΓ
8. AppleͷۭؒΦʔσΟΦͱ͸ ιϑτ΢ΣΞɾϋʔυ΢ΣΞͷ૊Έ߹ΘͤʹΑͬͯ ԻΛԾ૝తʹ഑ஔ͠ɺͦΕʹΑͬͯ຅ೖײ͋ΔମݧΛ࣮ݱͨ͠΋ͷ
9. ։ൃऀ໨ઢͰ ΋͏গ͠ৄ͘͠ཧղ͍ͨ͠
10. ΦʔσΟΦػثͷൃల
11. Ϟϊϥϧ εϐʔΧʔ1ͭ ࠷΋γϯϓϧͳߏ੒
12. εςϨΦ εϐʔΧʔ2ͭͰ ࠨӈͷ޿͕Γ(Pan) Λදݱ
13. γϯϓϧͳPanͷख๏ Equal Power Panning ࠨӈͷεϐʔΧʔʹׂΓৼΔԻྔΛม͑Δ͜ͱͰ Ծ૝తͳԻͷҐஔ͕มԽ ৼ෯ ԻݯͷҐஔ L R
14. Ϛϧννϟϯωϧ өըԻڹͱڞʹൃల L C R S 1970೥୅ 4 ch
15. Ϛϧννϟϯωϧ өըԻڹͱڞʹൃల L C R SL 5 ch SR αϥ΢ϯυ͕εςϨΦԽ
16. Ϛϧννϟϯωϧ өըԻڹͱڞʹൃల L C R SL 5.1 ch SR ௿Ի੒෼͕෼཭ 1990೥୅ LFE
17. 5.1 chͷ .1 ͸௿Իઐ༻νϟϯωϧ ௿Իͷಛ௃ • ฉ͖औΓʹ͍͘ ௿Ի͕͔ͬ͠Γௌ͑͜ΔΑ͏ʹ͢Δʹ͸ɺৼ෯Λେ͖͘ه࿥͢Δඞཁ͕͋Δ
 தԻҬҎ্ʹదͨ͠ઃఆͰ͸ԻׂΕͯ͠͠·͏ • ࢦ޲ੑ͕͋·Γͳ͘෦԰શମʹڹ͘ ௿Ի੒෼Λ෼཭ͯ͠ઐ༻ͷ̍νϟϯωϧʹ
18. Ϛϧννϟϯωϧ өըԻڹͱڞʹൃల L C R SL 6.1 ch SR LFE BS
19. Ϛϧννϟϯωϧ өըԻڹͱڞʹൃల L C R BSL 7.1 ch BSR LFE SL SR
20. ͨ͘͞ΜͷεϐʔΧʔΛઃஔ͢Δͷ͕େม ՈఉͰ͸͞Βʹ೉қ౓͕ߴ͍ • ਖ਼֬ͳҐஔʹઃஔ͠ͳ͚Ε͹ɺਖ਼͘͠Ի͕࠶ݱ͞Εͳ͍ • ۤ࿑ͷׂʹεΠʔτεϙοτʢૉ੖Β͍͠Իڹମݧ͕Ͱ͖ΔΤϦΞʣ͕ڱ͍ ϚϧννϟϯωϧΦʔσΟΦͷݱ࣮తͳ໰୊ өըؗʹ΋ ݶք͸͋ΔΑ😂 εϖʔεͱࢿۚ💰͕ඞཁ
21. ΦϒδΣΫτϕʔεΦʔσΟΦొ৔
22. ෺ମ͕ൃ͢ΔԻ 🕊 + ෺ମͷҐஔͳͲͷϝλ৘ใ ΦϒδΣΫτͷԻͱҐஔΛه࿥
23. ࠶ੜ࣌͸ͦΕͧΕͷߏ੒ʹ߹ΘͤͯεϐʔΧʔ͔Βग़ΔԻΛ ϦΞϧλΠϜʹܭࢉʢ=ϨϯμϦϯάʣ 🕊 🕊 🕊
24. εϐʔΧʔ޲͚ϨϯμϦϯά p l1 l2 l3 p = g1l1 + g2l2 + g3l3 3ͭͷεϐʔΧʔͰͷ3D-VBAP, Pulkki 1997
25. εϐʔΧʔʹνϟϯωϧΛׂΓ౰ͯΔैདྷͷํ๏ͩͱ খ͞ͳσόΠεʹεςϨΦεϐʔΧʔΛ෇͚ͯ΋ Իͷ޿͕Γ͕͍·͍ͪ ৼ෯ ԻݯͷҐஔ L R Իͷ޿͕Γ͸ εϐʔΧʔͷִ͕ؒ࠷େ 😕 Equal Power Panning
26. σόΠεͷ෯Ҏ্ͷ޿͕ΓΛײ͡ΒΕΔΑ͏ʹ ϨϯμϦϯά͢Δ͜ͱ΋Մೳʂ
27. εςϨΦԻݯΛͦͷ··ϔουϗϯͰௌ͘ͱ Իݯ͕಄ͷதʹ͋ΔΑ͏ͳ…ʁ ಄಺ఆҐ 🎸 ϔουϗϯ޲͚ϨϯμϦϯά 㽈 ♪
28. ਓ͸࠷ऴతʹ2ͭͷࣖͰԻΛฉ͘ ྆ࣖͷೖΓޱͷԻΛ࠶ݱͰ͖Ε͹ɺۭؒతͳ޿͕Γ͕ײ͡ΒΕΔ͸ͣ ϔουϗϯ޲͚ϨϯμϦϯά
29. ϔουϗϯ޲͚ϨϯμϦϯά ڑ཭ʹΑΔݮਰɾ஗Ԇ ํ޲ʹΑΔ ࠨӈͷฉ͑͜ํͷҧ͍ + ಄෦ʹΑΔ ःṭޮՌ ಄෦఻ୡؔ਺ͰγϛϡϨʔτ HRTF: Head Related Transfer Function
30. ϔουϗϯ޲͚ϨϯμϦϯά ΦϒδΣΫτͷҐஔ৘ใ
    ڑ཭3
    ํ֯П В ΦϒδΣΫτͷԻ ڑ཭ʹԠͯ͡
    ݮਰɾ஗Ԇ )35'@-FGU )35'@3JHIU 3 П В .*9&3 ΦϒδΣΫτͷҐஔ৘ใ
    ڑ཭3
    ํ֯П В ΦϒδΣΫτͷԻ ڑ཭ʹԠͯ͡
    ݮਰɾ஗Ԇ )35'@-FGU )35'@3JHIU 3 П В ʜ 3 -
31. ैདྷ͔Βͷϔουϗϯ޲͚ͷख๏ όΠϊʔϥϧ࿥Ի μϛʔϔου or ࿥ԻऀͷࣖʹϚΠΫΛ૷ண ಄෦఻ୡؔ਺·ͰՃຯͨ͠Ի͕࿥ԻͰ͖Δ NEUMANN KU100
32. ීٴ͍ͯ͠ΔΦϒδΣΫτΦʔσΟΦͷܗࣜ • Dolby Atmos • DTS:X • 360 Reality Audio
33. Dolby Atmos • Dolby Laboratories, Inc.ʹΑͬͯөըԻڹͷͨΊʹ։ൃ͞Εͨ • ࠷େ 7.1.2 ch ͷϕου + 118ݸͷΦϒδΣΫτ 3ͭ໨ͷ਺ࣈ.2͸্ํͷνϟϯωϧ਺ • ैདྷͷԻ੠ه࿥ํࣜ Dolby Digital Plus (E-AC-3) ΍Dolby TrueHDͷ 
 ֦ுྖҬʹه࿥͞ΕԼҐޓ׵ੑ͕͋Δ ↑ ഑৴޲͚ ↑ ϒϧʔϨΠ޲͚ Lossless
34. ैདྷͷػث΁ͷԼҐޓ׵ੑͷ࢓૊Έ • Dolby AtmosඇରԠͷσίʔμʔ͸֦ுྖҬΛແࢹ͢Δ • ΦϒδΣΫτͷԻ΋͋Β͔͡ΊνϟϯωϧʹϨϯμϦϯά͞Ε͍ͯΔͷͰ 
 ඇରԠͷػثͰ΋ௌ͚Δ • ରԠػث͸֦ுྖҬͷ৘ใ΋ซͤͯ࢖͏ࣄͰΦϒδΣΫτͱຊདྷͷϕουͷԻΛ࠶ݱ %PMCZ
    %JHJUBM
    1MVT
    PS
    %PMCZ
    5SVF)% %PMCZ
    "UNPT ֦ுྖҬ νϟϯωϧͷ೾ܗ Joint Object Coding
35. DTS:X • DTSࣾʹΑΔϑΥʔϚοτ • ൺֱతॊೈͳεϐʔΧʔϨΠΞ΢τ • ैདྷͷνϟϯωϧϕʔεͷԻ੠ه࿥ํࣜ DTS-HD Master Audioͷ 
 ֦ுྖҬʹه࿥͞ΕΔ • Ի࣭Λॏࢹ͠ѹॖ཰͸௿͍ͨΊɺ༰ྔʹ༨༟ͷ͋ΔBlu-rayσΟεΫ޲͖ %54
    %JHJUBM
    4VSSPVOE %54)%
    .BTUFS
    "VEJP %54
    9
36. 360 Reality Audio • SonyʹΑָͬͯۂͷετϦʔϛϯά༻్Ͱ࡞ΒΕͨ • ଍ݩΛؚΉશํҐ͔ΒͷԻʹରԠ • MPEG-H 3D AudioΛϕʔεʹ 
 ഑৴ϏοτϨʔτͳͲͷऔΓܾΊΛ௥Ճͨ͠΋ͷ • σίʔυͱϨϯμϦϯά͕Ͱ͖ΔϥΠϒϥϦ͕ఏڙ͞Ε͍ͯΔ αϯϩΫϚϧ
37. ۭؒΦʔσΟΦ͸ Ϛϧννϟϯωϧͱ ΦϒδΣΫτϕʔεΦʔσΟΦ ͷར఺Λੜ࣮ͯ͠ݱ͞Ε͍ͯΔ
38. 🕊 ͔͋ͨ΋ͦ͜ʹԻݯ͕͋Δ͔ͷΑ͏ͳମݧ ϨϯμϦϯά
39. ഭྗ͋Δ௿Ի ϚϧννϟϯωϧͰͷ௿Իͷ෼཭
40. iPhone΍MacBookͷ಺ଂεϐʔΧʔ͔Βͷ ޿͕Γ͋Δ๛͔ͳα΢ϯυ ࠶ੜػثʹ߹ΘͤͨϨϯμϦϯά
41. ΞϓϦͰۭؒΦʔσΟΦΛ ར༻͢Δʹ͸
42. ۭؒΦʔσΟΦͷϢʔεέʔε ಈըɾԻָ ίϯςϯπ࠶ੜ ήʔϜ FaceTimeͳͲͷΞϓϦ 🕊
43. ಈըɾԻָίϯςϯπ࠶ੜ༻API • AVPlayer • AVSampleBufferAudioRenderer 
 AVSampleBufferRenderSynchronizerͱͷ૊Έ߹ΘͤʹΑΔΧελϜϓϨΠϠʔ • ϒϥ΢βͷ Media Source Extension <video>λά Ϛϧννϟϯωϧ΍Dolby Atmosͷ࠶ੜʹରԠ͍ͯ͠ΔϓϨΠϠʔ
44. allowedAudioSpatializationFormats ϓϩύςΟ ίϯςϯπΛ“ۭؒԽ”ͯ͠ྑ͍͔Ͳ͏͔ AVPlayerItem, AVSampleBu ff erAudioRenderer .monoAndStereo ϞϊϥϧͱεςϨΦͷۭؒԽΛڐՄ .multichannel ϚϧννϟϯωϧͷΈۭؒԽΛڐՄ Իָͷ৔߹ͷσϑΥϧτ .monoStereoAndMultichannel ϞϊϥϧɾεςϨΦɾϚϧννϟϯωϧͷ ۭؒԽΛڐՄ ಈըͷ৔߹ͷσϑΥϧτ
45. ۭؒԽ (spatialization)ॲཧͱ͸ʁ ⚠ ίϯιʔϧϩά͔ΒͷਪଌͰ͢ Decoder AUScotty 2ch → 5.1ch Up Mix AUSpatial Mixer Stereo L R ηϯαʔ஋ Decoder AUSpatial Mixer Multichannel L R ηϯαʔ஋ 👆ίίʂ(ͨͿΜ)
46. ۭؒԽ͠ͳ͍ͱ… Decoder Stereo L R Decoder Multichannel L R ❌ ैདྷ௨ΓͷεςϨΦ LͱR͔͠ฉ͑͜ͳ͍ʂ item.allowedAudioSpatializationFormats = []
47. Ի੠ίϯςϯπͷσϑΥϧτ͸.multichannel Decoder Stereo L R ैདྷ௨ΓͷεςϨΦ Decoder AUSpatial Mixer Multi-channel L R ηϯαʔ஋ όΠϊʔϥϧ࿥Ի͸͢Ͱʹ྆ࣖͷೖΓޱͷԻʹ ͳ͍ͬͯΔͨΊۭؒԽ͢Δ΂͖Ͱ͸ͳ͍
48. HTTP Live StreamingͱۭؒԽ • ෯޿͍σόΠεΛαϙʔτ͢Δඞཁ͕͋ΔͨΊɺଟ͘ͷVariantΛ༻ҙ͢Δ • ࠶ੜ୺຤͸ࣗ਎͕࠶ੜͰ͖ΔVariantΛ௨৴ঢ়ଶΛՃຯͯ͠ಈతʹબͿ HLSʹΑΔετϦʔϜ഑৴ AAC BINAURAL AC3 5.1ch EAC3 w/JOC Dolby Atmos AAC 2ch • allowedAudioSpatializationFormatsͰ 
 ڐՄ͞Ε͍ͯͳ͍΋ͷ͸બ͹Εͳ͍ͷͰ 
 جຊ .monoStereoAndMultichannel • όΠϊʔϥϧ൛͸ઃఆʹΑΒۭͣؒԽ͞Εͳ͍ 
 CHANNEL=“2/-/BINAURAL” VariantؒͷԻͷେ͖͞Λἧ͑ΔͨΊ ϝλσʔλΛೖΕΔͷ͕๬·͍͠
49. ۭؒΦʔσΟΦͷग़ྗ͕Մೳ͔ʁ AVAudioSessionPortDescription isSpatialAudioEnabled iOS, tvOS ϋʔυ΢ΣΞͷೳྗ ੾Γସ͑ΒΕΔ৔߹ ۭؒԽΦϯ +
50. ग़ྗઌ ۭؒΦʔσΟΦ isSpatialAudioEnabled iPhone 14 Pro ಺ଂεϐʔΧʔ ੾Γସ͑ෆՄ true iPhone 5s ಺ଂεϐʔΧʔ ੾Γସ͑ෆՄ false AirPods (ୈ̏ੈ୅) Φϑ false AirPods (ୈ̏ੈ୅) ݻఆ, ϔουτϥοΩϯά true SOUNDPEATS BluetoothΠϠϗϯ ੾Γସ͑ෆՄ false isSpatialAudioEnabledͷ஋ͷྫ ಺ଂεϐʔΧʔͷ ۭؒΦʔσΟΦରԠ͸ iPhone XS ͔Βʂ
51. Control CenterͰͷۭؒԽͷ੾Γସ͑ • NowPlayingͷରԠΛߦ͏ 
 • બ୒࣌ʹ௨஌͕དྷΔ 
 
 AVAudioSession 
 .spatialPlaybackCapabilitiesChangedNotification 
 
 w/ AVAudioSessionSpatialAudioEnabledKey
52. • ͜ͷ෦෼͸AVPlayer͕දࣔΛ؅ཧ • AVPlayerҎ֎Λར༻࣌͸ 
 
 AVAudioSession
 setSupportsMultichannelContent(_:)
 
 Ͱઃఆ 

53. • AURemoteIO • AudioQueue NowPlayingͷରԠΛ͢Ε͹ɺόοϑΝΛ௚઀ग़ྗ͢Δέʔε΋ۭؒԽͰ͖Δ
54. ۭؒΦʔσΟΦ”ରԠ”ͷ iPhone ෳ਺ཁૉͷ૊Έ߹ΘͤͰ࣮ݱ͞Ε͍ͯΔͷͰ ඞཁͳػೳͷαϙʔτൣғΛνΣοΫʂ https://support.apple.com/ja-jp/HT211775 AirPods ΍ Beats ͰۭؒΦʔσΟΦΛମݧ͢Δ https://developer.dolby.com/platforms/apple/ios/device-support/ Dolby Audio Apple iOS Device Support Dolby Developer iPhone 5s Dolby Digital, Dolby Digital Plus ͷσίʔμ౥ࡌ ※ Appleͷࢿྉʹ͸هࡌͳ͠ iPhone 7 AirPodsͱ࿈ܞՄ iPhone XS Dolby AtmosͷσίʔμΛ౥ࡌ ಺ଂεϐʔΧۭؒΦʔσΟΦରԠ ͪͳΈʹMacͷ಺ଂεϐʔΧʔ͸AppleγϦίϯ͔ΒରԠ ͔ͳΓߴ඼ҐͳͷͰͥͻDolbyͷαϯϓϧͳͲΛฉ͍ͯΈͯ
55. ۭؒΦʔσΟΦରԠͷΠϠϗϯɾϔουϗϯ • AirPods (ୈ̏ੈ୅) • AirPods Pro • AirPods MAX • BeatsʢAppleࡿԼʣͷରԠϞσϧ ΋͏গ͋͠Δͱ͍͍ͳ͊ 🤔 ඇରԠͷBluetoothΠϠϗϯʹ޲͚ͯग़དྷΔ͜ͱ • όΠϊʔϥϧ൛Λఏڙ • ΞϓϦ಺ͰϨϯμϦϯά·Ͱߦͬͯ͠·͏
56. ήʔϜ΍FaceTimeͷΑ͏ͳػೳͷͨΊͷAPI • PHASE 
 Physical Audio Spatialization Engine • RealityKit, Reality Composer Pro • SceneKit 🕊 WWDC21 ~ 23 ʹ ଟ਺ηογϣϯ͋Γ😀 ҎԼͷFrameworkͰαϙʔτ
57. Recap • ۭؒΦʔσΟΦʹΑͬͯಘΒΕΔମݧ • ϚϧννϟϯωϧͱΦϒδΣΫτϕʔεΦʔσΟΦͷར఺ • ΞϓϦͰ׆༻͢ΔͨΊͷAPIͱͦͷڍಈ
58. f ind a key moment WWDC23 Principles of spatial designΑΓ ฉ͑͜ํͷಛ௃ 1ͭ1ͭͷԻݯͷԻ͕ࠞ͟Βͳ͍ ۭؒͷ೚ҙͷҐஔʹ഑ஔͰ͖Δ ࿩ऀ΍ָثͷύʔτͳͲΛฉ͖෼͚΍͍͢ ॏ௿Ի΋ײ͡΍͍͢ …
59. ࢀߟʹͨ͠WWDCηογϣϯ WWDC21 Immerse your app in Spatial Audio νϟϨϯδ: ۭؒΦʔσΟΦͷα΢ϯυεέʔϓ ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠