続・空間オーディオを活用しよう！

iOSDC Japan 2023で発表した「空間オーディオを活用しよう！」から3年。空間オーディオは音楽配信だけでなく、動画配信サービスでも利用が広がりつつあります。さらに、聞き手を包み込むリッチな体験として広まった空間オーディオは、VRの勃興とともに、違和感のないVR体験に欠かせない要素としても存在感を増しています。 前回の内容のおさらいから、iPhoneでも録音できるようになったアンビソニックをはじめとする直近のアップデートまでを、直感的に理解できるよう整理します。そのうえで空間オーディオが提供する本質的な価値に立ち返り、映像シーンごとに目指す「リアル」の違いから、音作りの考え方と、さまざまな環境に届けるための配信戦略を深掘りします。

動画はこちら → https://www.youtube.com/live/0ZtVguQCu4I?t=5821

Transcript

1. #23 続・空間オーディオを活用しよう！ 行木 千春 | AbemaTV
2. 前回のお話 @ iOSDC 2023 https://fortee.jp/iosdc-japan-2023/proposal/f99d0063-781b-4429-a9af-7444c7da609c
3. 2023 年からのアップデート
4. 2024 年 2 ⽉、Apple Vision Pro 発売 イメージ出典: Apple (Vision Pro プレス画像)
5. 時期 できごと 詳細 2023 秋 iOS 17 / macOS 14 / tvOS 17 ひっそり APAC デコーダが OS に⼊る 2024-02 Vision Pro 発売 Apple Immersive Video‧空間ビデオ 2024-09 iPhone 16 発売 空間オーディオの録⾳が可能に。 Audio Mix (声と環境⾳を後から調整) 登場 2025-04 HLS Authoring Spec に APAC Apple デバイスへの配信ルールが決まる 2025-06 ASAF / APAC 発表 @WWDC25 APAC = 空間オーディオの CODEC。 3rd party での制作‧配信が可能に 2026-01 初の AIV ライブ配信 Spectrum による NBA Lakers 戦
6. 空間オーディオとは ソフトウェアとハードウェアの組み合わせで ⾳を仮想的に配置し、没⼊感のある体験を実現するもの イメージ出典: AirPods (第 3 世代) 発表時の Apple プレスリリース
7. 空間オーディオは Multi-channel based Audio + Object based Audio の利点を活かして実現されている
8. Channel based Audio 所定の位置のスピーカーごとに波形を記録
9. モノラル C
10. ステレオ L R 左右の広がり
11. マルチチャンネル (例: 5.1ch) C L R LFE Ls Rs 低⾳分離 + 包まれるようなサラウンド
12. Object based Audio ⾳源ごとの波形 + 位置
13. オブジェクトの⾳と位置を記録 + 物体が発する⾳ 物体の位置などのメタ情報 (波形) (時間で変わる)
14. 再⽣環境に合わせてレンダリング ステレオ 5.1ch ヘッドホン スピーカー配置に合わせて、出す⾳をリアルタイムに計算
15. 空間オーディオ Channel based スピーカーごとの波形 + Object based ⾳源ごとの波形 + 位置
16. 空間オーディオ New! Channel based スピーカーごとの波形 + Object based ⾳源ごとの波形 + 位置 + Scene based 周囲の⾳場をまるごと
17. Scene based Audio ⾳場をまるごと記録する
18. 「向いた⽅向の⾳が聞こえる」を叶えるには ⾳場を空間ごと記録‧再現できれば良い
19. ⾃分を取り巻く球を考える 球⾯上の⾳圧の揺らぎをそのまま記録すれば良い = 360° 映像の⾳声版
20. 360° 映像は、球⾯を平⾯に投影して記録する 正距円筒図法で画素に。⾳はもっと効率よく記録できる NASA Blue Marble (public domain)
21. 周期的な波形は、正弦波の重ね合わせで表せる (フーリエ級数)
22. 周期的な波形は、正弦波の重ね合わせで表せる (フーリエ級数)
23. 周期的な波形は、正弦波の重ね合わせで表せる (フーリエ級数)
24. 周期的な波形は、正弦波の重ね合わせで表せる (フーリエ級数)
25. 周期的な波形は、正弦波の重ね合わせで表せる (フーリエ級数) これを球⾯に拡張する
26. 球⾯調和関数 経度⽅向はフーリエ級数そのもの、緯度⽅向はルジャンドル多項式
27. 球⾯調和関数 経度⽅向はフーリエ級数そのもの、緯度⽅向はルジャンドル多項式
28. 球⾯調和関数 経度⽅向はフーリエ級数そのもの、緯度⽅向はルジャンドル多項式
29. 球⾯調和関数 経度⽅向はフーリエ級数そのもの、緯度⽅向はルジャンドル多項式
30. 球⾯上の関数の 2 つの描き⽅ バルーン図 = その⽅向の値の⼤きさを半径にしたもの。くびれは値が 0 の⽅向
31. Ambisonics 球⾯調和関数の係数の時間変化として⾳場を記録する
32. 次数 = 使う項の数 次数を上げると何が⾒えてくるか
33. 地球を次数ごとに復元する 0 次は平均の球、1 次で明暗程度、7 次でも⼤陸がぼやける。20 次で海岸線 NASA Blue Marble (public domain)
34. 次数とチャンネル数 次数 呼び名 ch 数 Apple での例 1次 FOA (First Order) 4 iPhone の空間オーディオ録⾳ 2次 HOA (Higher Order) 9 3次 HOA 16 AVAssetWriter の上限 7次 HOA 64 ASAF の制作ツールの上限
35. ⾳場から再⽣環境に合わせてレンダリング ステレオ 5.1ch ヘッドホン 係数から、スピーカーごと‧両⽿ごとに出す⾳を計算する (デコード)
36. ヘッドトラッキングを実現するには？ 頭が右を向く
37. ヘッドトラッキングを実現するには？ 頭が右を向く → ⾳場を左に回せばよい ⼩さな⾏列をかけるだけ！ ⽔平に α 回す。W と Z はそのまま VRとの相性は抜群
38. 閑話休題 🙋 iPhone 16 以上をお持ちの⽅？
39. 閑話休題 🙋 iPhone 16 以上をお持ちの⽅？ 󰢨 それで動画を撮ったことがある⽅？
40. 設定 > カメラ > サウンド収録 iPhone 16 以降は動画撮影の⾳声に 空間オー ディオが選べる 補足 デフォルトは「空間オーディオ」。 iPhone 16 以降で動画を撮っていれば、 すでに 1 次の Ambisonics を録音しています
41. iPhone で撮れるのは 1 次の Ambisonics (FOA) 7.2 cm 8 mm N 次には (N+1)² 本のマイクが必要 平⾯上にあってはならない iPhoneのマイク数：4 → 1 次 特に厚さ⽅向で差が出にくい。実測では 5 kHz 以上は左右の情報だけ 15 cm 正⾯ 側⾯ マイクの位置は模式図 (Apple の公式図は無い)
42. Object based と FOA を聴き⽐べてみよう 1次の地球かなりぼやけてるけど、⼤丈夫？ NASA Blue Marble (public domain)
43. Object based Audio 聴き⽐べページ A「Object」 補足 「ぜろ」〜「じゅういち」と数えながら、 時計の文字盤の位置を 1 周する (ぜろ = 正面、さん = 右、ろく = 後ろ)。 定位がはっきり聞こえる https://ridwy.github.io/spatial-audio-formats-demo/dist/
44. First Order Ambisonics (FOA) 聴き⽐べページ A「Scene FOA (1次)」 補足 同じ音を FOA で記録したもの。 方向は Object とほぼ同じように追えるが、 よく聞くとふわっと広がっている 分析すると、右真横での両耳の時間差は Object 0.83 ms → FOA 0.63 ms と小さく、 数値でもにじんでいるのが分かる。 https://ridwy.github.io/spatial-audio-formats-demo/dist/
45. APAC: Apple Positional Audio Codec 空間オーディオの⼊れ物 WWDC25 で発表 公開資料はたったの 5 ページ エンコーダ/デコーダの使い⽅ ビットストリームの詳細は⾮公開 Apple 端末でのみ再⽣‧圧縮できる デコード OS 17+、エンコード OS 26+ 出典: Apple, Apple Positional Audio Codec (APAC) Platform Encoder and Decoder (June 2025)
46. 1 本の APAC の⾳声トラックに何でも⼊る APAC の⾳声トラック 環境⾳ W X ほかにも Scene based (3 次まで) Z + 位置 話者 BGM Y L ダイアログ Object based Channel based R バイノーラル インタラクティブ要素 拡張メタデータ
47. iPhone で撮影した動画の中⾝ QuickTime ファイルコンテナ (.mov) 映像 HEVC (Dolby Vision) ⾳声 ① AAC ステレオ 有効 L 既定で鳴る R fall ⾳声 ② APAC 4ch 無効 対応機だけが選ぶ W Y Z X ラウドネス メタデータ cinematic-audio メタデータ ×5 (そのほか) ⾳声トラックが 2 本 = APAC + AAC (⾮対応環境⽤)
48. iPhone で撮影した動画の中⾝ QuickTime ファイルコンテナ (.mov) 映像 HEVC (Dolby Vision) ⾳声 ① AAC ステレオ 有効 L 既定で鳴る R fall ⾳声 ② APAC 4ch 無効 対応機だけが選ぶ W Y Z X ラウドネス メタデータ cinematic-audio メタデータ ×5 (そのほか) APAC トラックに紐づくメタデータ cinematic-audio が Audio Mix に利⽤される (写真アプリで、撮影後に声と環境⾳のバランスを変える機能)
49. AVCaptureMovieFileOutput などで録⾳可能 iOS 18+ let input = try AVCaptureDeviceInput(device: mic) if input.isMultichannelAudioModeSupported(.firstOrderAmbisonics) { input.multichannelAudioMode = .firstOrderAmbisonics } 純正カメラと同じ構造のファイルが作れる iOS 26+ で AVAssetWriter も対応し、柔軟なカスタマイズが可能に
50. 空間オーディオの API ⽬的 再⽣する 状態を知る 代表的な API AVPlayer (空間化は⾃動)、allowedAudioSpatializationFormats、HLS で空間版を選ぶ select(_:in:) isSpatialAudioEnabled、spatialPlaybackCapabilitiesChangedNotification multichannelAudioMode = .firstOrderAmbisonics (iOS 18+)、 録る spatialAudioChannelLayoutTag‧AVCaptureSpatialAudioMetadataSampleGenerator (iOS 26+) 後から調整 エンコード ⾃分で空間に置く CNAssetSpatialAudioInfo → audioMix(…)、書き出し⽤の読み書き設定、 AUAudioMix (OS 26+) kAudioFormatAPAC と各種エンコーダ設定 (エンコード OS 26+ / デコード OS 17+)、HOA_ACN_SN3D | ch 数、HLS ツール AVAudioEnvironmentNode、AUSpatialMixer、PHASE、RealityKit の⾳声コンポーネント
51. 空間オーディオのユニークな事例 @ iOSDC 2026 https://fortee.jp/iosdc-japan-2026/proposal/5324591d-3a1e-4aff-ba39-353224d3ea28
52. HLS で APAC を配信するときは 必ずステレオ AAC の Fallback を⽤意する
53. HLS で APAC を配信するルール CODEC × チャンネル数ごとに⾳声グループを分ける 例 GROUP-ID="apac" (APAC 4ch) と GROUP-ID="aac" (AAC 2ch) ステレオ AAC のグループは必ず⼊れる APAC を知らない端末の Fallback CODECS に profile と level、CHANNELS に次数 CODECS="apac.05.00"、CHANNELS="4/1OA" (3 次なら "16/3OA") APAC のセグメントは独⽴再⽣点から始める どこからでも再⽣を始められるように
54. 空間オーディオを活かしたコンテンツ制作 映像シーンごとの⾳作り
55. スタジアムの熱狂に包まれる スポーツ中継 歓声‧ざわめき (全周 = Ambisonics) ⼤切にすること 実況がいつも聞き取れる ゴールで会場が⼀気に沸く ⾳作り 歓声は全周に (Ambisonics) ボール‧笛 (前に薄く) 実況は頭に付いてくる ボールや笛は前に薄く 実況 (頭に付いてくる)
56. 楽器の位置が分かる ⾳楽ライブ 楽器‧ボーカル (ステージ上の位置 = オブジェクト) ⼤切にすること ⾒た位置からその楽器が鳴る Dr Gt Ba Vo 演奏のバランスを崩さない ⾳作り 楽器‧ボーカルはオブジェクト 会場の響きと歓声は Ambisonics 収録後にじっくり作り込める 会場の響き‧観客 (Ambisonics)
57. 振り向いた先から聞こえる 360° 映像 / 空間ビデオ 周りの場を丸ごと (Ambisonics) ⼤切にすること どこを向いても映像と⾳が⼀致 ⾒ている範囲 カメラの位置 = 聴く位置 ⾳作り 場を丸ごと Ambisonics で カメラ = ⽿ 振り向きは再⽣側で回すだけ ナレーションは頭に付いてくる
58. ⽬指す「リアル」が違えば、⽅式も違う シーン ⽬指すリアル 主役の⾳ → ⽅式 スポーツ中継 包まれる 歓声 → Ambisonics 実況 → 頭に付いてくる ⾳楽ライブ 位置が分かる 楽器 → オブジェクト 会場の響き → Ambisonics 360° / 空間ビデオ 振り向いた先から 周りの場 → Ambisonics
59. Recap 1 Scene based (Ambisonics) が加わった ⾳場を球⾯調和関数の係数で持つ。収録できて、安く回せるのでヘッドトラッキングと相性がいい 2 iPhone はもう Ambisonics を録っている 1 次 (FOA) を APAC で記録。APAC を知らない環境ではステレオの AAC が鳴る 3 APAC が発表され API がそろった 1 本のトラックにチャンネル‧オブジェクト‧Ambisonics。録る‧調整‧鳴らす API (iOS 18 / 26) 4 映像シーンに合わせて⽅式を選ぶ 包まれる‧位置が分かる‧振り向いた先から
60. 参考資料 WWDC25 251 Enhance your app's audio recording capabilities Spatial Audio capture / Audio Mix API WWDC25 297 Learn about the Apple Projected Media Profile APAC で 1〜3 次 Ambisonics をエンコード WWDC25 403 Learn about Apple Immersive Video technologies ASAF / APAC Meet with Apple 223 Meet Apple Spatial Audio Format and APAC ASAF の設計思想 (naturalness / externalization) Meet with Apple 225 / 236 Spatial Audio workflows for AIV Ambisonic マイク, ヘッドロック, センターチャンネルの無い世界 Apple TN3177 / Apple Positional Audio Codec (PDF) / HLS Authoring Specification ファイル構造 / Profile‧Level / HLS のルール Zotter & Frank, Ambisonics (Springer 2019, Open Access) 理論。球⾯調和関数, デコード, 回転 聴き⽐べページ (このトークのデモ) https://ridwy.github.io/spatial-audio-formats-demo/dist/
61. ご清聴ありがとうございました