Improving the audio quality of the Head-Related Transfer Function using machine learning 機械学習による頭部伝達関数の音質向上

ADC Japan 2026

Transcript

1. Improving the audio quality of the Head-Related Transfer Function using machine learning 機械学習による頭部伝達関数の音質向上 ADC Japan 2026, Muneyoshi Suzuki 鈴木 宗良 3 June 2026 @suzumushi0 @suzumushi0.bsky.social https://github.com/suzumushi0
2. About me 自己紹介  Released experimental VST 3 plug-ins free of charge, including binaries and source code  Developed technologies including binaural and transaural spatial audio, formant-to-MIDI conversion, and frequency shifting  実験的な VST 3 プラグインのバイナリ，ソースを無償で公開  バイノーラル，トランスオーラル立体音響，フォルマント MIDI 変換，周波数シフト技術等を開発 2
3. HRTF and binaural audio rendering 頭部伝達関数とバイノーラルオーディオ再生  The HRTF is the transfer characteristic from a sound source positioned in space to the ear  Binaural reproduction adds spatial directionality to audio using the HRTF  頭部伝達関数とは，空間に配置された音源から耳までの伝達特性  バイノーラル再生は，頭部伝達関数によりオーディオに方向感を付加 Right HRTF Sound source Left HRTF 3
4. Issues of binaural audio rendering using HRTF 頭部伝達関数によるバイノーラルオーディオ再生の課題 Personalized HRTF 個人化 HRTF HRTF of dummy head ダミーヘッドの HRTF Cost コスト High Low Audo quality 音 質 For sound effects, not music 効果音向け，音楽には向かない High Sense of direction Good 方向感 良好 Misrecognition occurs in the forward, backward and downward directions 前後，下方向で誤認識が生じる Sense of distance 距離感 Poor; there is little sense of distance, especially in the forward direction 乏しい，特に正面方向の距離感は皆無  To promote the widespread adoption of HRTFs, high audio quality and typical HRTFs are required  頭部伝達関数の普及には，音質が高く，かつ典型的な頭部伝達関数が必要 4
5. Examples of HRTF frequency responses 頭部伝達関数の周波数応答例 5
6. Outline アウトライン  Proposed Generalized Head-Related Transfer Function  Estimation of Generalized HRTF using machine learning  Examples of estimated Generalized HRTF  Typical GHRTF  Applying Typical GHRTF to SoundObject  提案する一般化頭部伝達関数  機械学習による一般化頭部伝達関数の推定  一般化頭部伝達関数の推定例  典型的な一般化頭部伝達関数  典型的な一般化頭部伝達関数の SoundObject への適用 6
7. Spatially Oriented Format for Acoustics 空間指向の音響データ形式  SOFA is a file format for HRTF data. SOFA は HRTF データのファイル形式  https://www.sofaconventions.org/  SOFA specification, HRTF data measured at universities and research institutions, tools and APIs  SOFA の規格，大学，研究機関で計測した HRTF のデータ，ツール，API  Examples of HRTF databases (many HRTF datasets are licensed under CC BY-SA)  HRTF DB の例 (多くの HRTF データのライセンスは CC BY-SA)  University of York, SADIE project "SADIE II Database," Apache License ver. 2.0  Aachen University and Universität Oldenburg, "COAT," CC 4.0 BY  META, "Sound Sphere 2: A High-resolution HRTF Database," CC 4.0 BY  This presentation uses data from the SADIE II Database  本プレゼンでは SADIE II Database のデータを使用 7
8. Coordinate system in this presentation 本プレゼンテーションの座標系  This presentation uses the coordinate system based on the SOFA, as defined in the AES69-2020 specification  本プレゼンテーションでは AES69-2020 規格で定義さ れた SOFA の座標系を使用 8
9. Proposed Generalized HRTF 提案する一般化頭部伝達関数 9
10. HRTF and binaural audio rendering (repeat) 頭部伝達関数とバイノーラルオーディオ再生 (再掲)  The HRTF is the transfer characteristic from a sound source positioned in space to the ear  Binaural reproduction adds spatial directionality to audio using the HRTF  頭部伝達関数とは，空間に配置された音源から耳までの伝達特性  バイノーラル再生は，頭部伝達関数によりオーディオに方向感を付加 Right HRTF Sound source Left HRTF 10
11. Head-Related Transfer Function 頭部伝達関数 11
12.  𝑥𝑥 𝑛𝑛 , 𝑛𝑛 ≥ 0  Signal of sound source. 音源の信号  𝑋𝑋 𝑧𝑧 = 𝑥𝑥 0 𝑧𝑧 −0 + 𝑥𝑥 1 𝑧𝑧 −1 + 𝑥𝑥 2 𝑧𝑧 −2 + ⋯ = ∑𝑛𝑛=0 𝑥𝑥 𝑛𝑛 𝑧𝑧 −𝑛𝑛  Z-transform of 𝑥𝑥 𝑛𝑛 . 𝑥𝑥 𝑛𝑛 の Z 変換  ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 , 𝑛𝑛 ≥ 0  Impulse response of HRTF for a sound source in the 𝜃𝜃, 𝜑𝜑 direction (contents of SOFA file)  𝜃𝜃, 𝜑𝜑 方向を音源とする頭部伝達関数のインパルス応答 (SOFA ファイルの中身)  𝐻𝐻 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 = ℎ 𝜃𝜃, 𝜑𝜑, 0 𝑧𝑧 −0 + ℎ 𝜃𝜃, 𝜑𝜑, 1 𝑧𝑧 −1 + ℎ 𝜃𝜃, 𝜑𝜑, 2 𝑧𝑧 −2 + ⋯ = ∑𝑛𝑛=0 ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 𝑧𝑧 −𝑛𝑛  Z-transform of ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 (HRTF)  ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 の Z 変換 (頭部伝達関数)  𝑦𝑦 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 , 𝑛𝑛 ≥ 0  Signal observed from a sound source in the 𝜃𝜃, 𝜑𝜑 direction  𝜃𝜃, 𝜑𝜑 方向の音源から観測される信号  𝑌𝑌 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 = 𝑦𝑦 𝜃𝜃, 𝜑𝜑, 0 𝑧𝑧 −0 + 𝑦𝑦 𝜃𝜃, 𝜑𝜑, 1 𝑧𝑧 −1 + 𝑦𝑦 𝜃𝜃, 𝜑𝜑, 2 𝑧𝑧 −2 + ⋯ = ∑𝑛𝑛=0 𝑦𝑦 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 𝑧𝑧 −𝑛𝑛  Z-transform of 𝑦𝑦 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 . 𝑦𝑦 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 の Z 変換 12
13. Ideas for improving sound quality 音質改善のためのアイデア (1) No way to perceive 𝑋𝑋 𝑧𝑧 directly 𝑋𝑋 𝑧𝑧 を直接知覚する 手段は無い (3) Is 𝐻𝐻 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 really necessary? Wouldn't the relative transfer characteristics between directions be sufficient? 𝐻𝐻 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 が本当に必要なの? 方向間の相対的な伝達特性で十分では? (2) The sense of direction is based solely on 𝑌𝑌 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 方向感は 𝑌𝑌 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 のみ に基づく 13
14. Ideas for improving sound quality (cont'd) 音質改善のためのアイデア (続き) (1) Correct the omnidirectional frequency response to make the forward frequency response flat 正面方向の周波数応答がフラットとなる様に，全方向の周波数応答を補正 (2) Correct the sound source to sound as if observed from the front 音源を，正面方向から観 測される音に補正 (3) The observed sound remains unchanged 観測されるサウンドは変 わらない 14
15. Definition of Generalized HRTF 一般化頭部伝達関数の定義  The Generalized HRTF 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 is an HRTF that has been corrected to produce a flat frequency response in the frontal direction  一般化頭部伝達関数 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 とは，正面方向の周波数特性がフラットとなる様に補正した頭 部伝達関数 15
16. Estimation of GHRTF using machine learning 機械学習による一般化頭部伝達関数の推定 16
17. Generalized HRTF 一般化頭部伝達関数  GHRTF is an HRTF that has been corrected to produce a flat frequency response in the frontal direction  一般化頭部伝達とは，正面方向の周波数特性がフラットとなる様に補正された頭部伝達関数 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧  The above equation can be rearranged as follows:  上記の式は以下の通り変形できる 𝐻𝐻 𝜃𝜃,𝜑𝜑,𝑧𝑧 = 𝐻𝐻 0,0,𝑧𝑧 𝐻𝐻 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 = 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 𝐻𝐻 0, 0, 𝑧𝑧  This is the same as the standard formula for a digital filter (𝑋𝑋 𝑧𝑧 : input, 𝑌𝑌 𝑧𝑧 : output, 𝐹𝐹 𝑧𝑧 : transfer function)  これはディジタルフィルタの標準的な式と同じ (𝑋𝑋 𝑧𝑧 : 入力， 𝑌𝑌 𝑧𝑧 : 出力， 𝐹𝐹 𝑧𝑧 : 伝達関数) 𝑌𝑌 𝑧𝑧 = 𝐹𝐹 𝑧𝑧 𝑋𝑋 𝑧𝑧 17
18. Fundamentals of the transfer function method 伝達関数法の基礎  In the transfer function method, the system's impulse response and the signal are theoretically equivalent  伝達関数法において，インパルス応答と信号は論理的に等価  Impulse response  Signal  インパルス応答 信 号 ℎ 𝑛𝑛 , 𝑛𝑛 ≥ 0 𝑥𝑥 𝑛𝑛 , 𝑛𝑛 ≥ 0  Transfer function  Z-transform of a signal  伝達関数  信号の Z 変換 𝐻𝐻 𝑧𝑧 = ℎ 0 𝑧𝑧 −0 + ℎ 1 𝑧𝑧 −1 … = � ℎ 𝑛𝑛 𝑧𝑧 −𝑛𝑛 𝑋𝑋 𝑧𝑧 = 𝑥𝑥 0 𝑧𝑧 −0 + 𝑥𝑥 1 𝑧𝑧 −1 … = � 𝑥𝑥 𝑛𝑛 𝑧𝑧 −𝑛𝑛 𝑛𝑛=0 𝑛𝑛=0 18
19. Generalized HRTF 一般化頭部伝達関数  The GHRTF 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 𝐻𝐻 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 = 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 𝐻𝐻 0, 0, 𝑧𝑧  takes the HRTF 𝐻𝐻 0, 0, 𝑧𝑧 's impulse response ℎ 0, 0, 𝑛𝑛 , 𝑛𝑛 ≥ 0 as input and  outputs the HRTF 𝐻𝐻 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 's impulse response ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 , 𝑛𝑛 ≥ 0  This is simply a system identification problem  一般化頭部伝達 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 は，  頭部伝達関数 𝐻𝐻 0, 0, 𝑧𝑧 のインパルス応答 ℎ 0, 0, 𝑛𝑛 , 𝑛𝑛 ≥ 0 を入力すると，  頭部伝達関数 𝐻𝐻 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 のインパルス応答 ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 , 𝑛𝑛 ≥ 0 を出力する  これはシステム同定問題に他ならない 19
20. System identification システム同定  Filter design: Determining the filter coefficients that satisfy the required gain or phase characteristics  フィルタ設計: 必要なゲイン特性か位相特性を満たすフィルタ係数を求める y [n]=h [0] x [n]+h [1] x [n−1]+ h [2] x [n−2]+...  System identification: Estimating the filter coefficients that satisfy the observed relationship between input and output signals  システム同定: 観測された入出力の信号の関係を満たすフィルタ係数を推定 ..., x [3], x [2], x [1], x [0] y [n]=h [0] x [n]+h [1] x [n−1]+ h [2] x [n−2]+... ..., y [3], y [2], y [1], y [0]  The simplest method for system identification is multiple regression (machine learning)  最も簡単なシステム同定方法は重回帰 (機械学習) 20
21. System identification using multiple regression 重回帰によるシステム同定  𝑥𝑥 𝑛𝑛 , 𝑦𝑦 𝑛𝑛 𝑛𝑛 ≥ 0 : Observed input and output. 観測された入力，出力  The regression model is an FIR filter (ℎ 𝑛𝑛 : filter coefficients, 𝑁𝑁: order)  回帰モデルは FIR フィルタ (ℎ 𝑛𝑛 : フィルタ係数，𝑁𝑁: 次数) 𝑦𝑦 𝑛𝑛 = ℎ 0 𝑥𝑥 𝑛𝑛 + ℎ 1 𝑥𝑥 𝑛𝑛 − 1 + ⋯ + ℎ 𝑁𝑁 − 1 𝑥𝑥 𝑛𝑛 − 𝑁𝑁 − 1  Training data. 訓練データ 𝑥𝑥 𝑁𝑁 − 1 , 𝑥𝑥 𝑁𝑁 − 2 , … 𝑥𝑥 0 , 𝑦𝑦 𝑁𝑁 − 1 , …, 𝑥𝑥 𝑖𝑖 + 𝑁𝑁 − 1 , 𝑥𝑥 𝑖𝑖 + 𝑁𝑁 − 2 , … 𝑥𝑥 𝑖𝑖 , 𝑦𝑦 𝑖𝑖 + 𝑁𝑁 − 1 , …  Estimate the filter coefficient ℎ 𝑛𝑛 using multiple regression  重回帰によりフィルタ係数 ℎ 𝑛𝑛 を推定 21
22. Estimation of GHRTF using multiple regression 重回帰による一般化頭部伝達関数の推定  ℎ 0, 0, 𝑛𝑛 , ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 , 𝑛𝑛 ≥ 0 : Impulse response of HRTF. HRTF のインパルス応答  The regression model 回帰モデル (𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 : FIR filter coefficients of 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 , 𝑁𝑁: order) 𝑁𝑁−1 ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 = � 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 ℎ 0, 0, 𝑛𝑛 − 𝑘𝑘 𝑘𝑘=0  Training data (basically same as the previous slide). 訓練データ (前のスライドと基本的に同じ) ℎ 0, 0, 𝑁𝑁 − 1 , ℎ 0, 0, 𝑁𝑁 − 2 , … ℎ 0, 0, 0 , ℎ 𝜃𝜃, 𝜑𝜑, 𝑁𝑁 − 1 , …, ℎ 0, 0, 𝑖𝑖 + 𝑁𝑁 − 1 , ℎ 0, 0, 𝑖𝑖 + 𝑁𝑁 − 2 , … ℎ 0, 0, 𝑖𝑖 , ℎ 𝜃𝜃, 𝜑𝜑, 𝑖𝑖 + 𝑁𝑁 − 1 , …  Estimate the filter coefficient 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 using multiple regression  重回帰によりフィルタ係数 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 を推定 22
23. Examples of estimated GHRTF 一般化頭部伝達関数の推定例 23
24. Evaluation of regression models 回帰モデルの評価  Evaluate the regression model using ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 and ℎ� 𝜃𝜃, 𝜑𝜑, 𝑘𝑘  ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 と ℎ� 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 により回帰モデルを評価  Estimate 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 using multiple regression based on the SOFA file records ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 and ℎ 0, 0, 𝑛𝑛  SOFA ファイル記録された ℎ 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 と ℎ 0, 0, 𝑛𝑛 から重回帰により 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 を推定 ℎ 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 , ℎ 0, 0, 𝑧𝑧 → 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑧𝑧  Infer ℎ� 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 by convolving the training data ℎ 0, 0, 𝑛𝑛 and estimated 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑛𝑛  学習データ ℎ 0, 0, 𝑛𝑛 と推定した 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 から畳み込みにより ℎ� 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 を推論 𝑁𝑁−1 ℎ� 𝜃𝜃, 𝜑𝜑, 𝑛𝑛 = � 𝑘𝑘=0 𝑔𝑔 𝜃𝜃, 𝜑𝜑, 𝑘𝑘 ℎ 0, 0, 𝑛𝑛 − 𝑘𝑘  What is the appropriate the filter order 𝑁𝑁 for 𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 ?  𝐺𝐺 𝜃𝜃, 𝜑𝜑, 𝑧𝑧 のフィルタ次数 𝑁𝑁 は幾つが適切か? 24
25. N＝43 25
26. N＝23 26
27. Left Horizontal N＝43 Right 27
28. N＝43 28
29. N＝23 29
30. Left Vertical N＝43 Right 30
31. Left Vertical N＝23 Right 31
32. Typical GHRTF 典型的な一般化頭部伝達関数 32
33. Estimation of Typical GHRTF 典型的な一般化頭部伝達関数の推定  Training the model using a large amount of subject data enables the estimation of a Typical GHRTF  However, simply training the model on data from multiple subjects will not yield good results  Firstly, estimate the impulse response of the GHRTF for each subject  For each subject and impulse response in the 𝜃𝜃, 𝜑𝜑 direction, identify the sample at which the response is maximum.  When training on data from multiple subjects, correct the phase of the data so that the above matches across subjects  多数の被験者データの学習により，典型的な一般化頭部伝達関数の推定が可能になる  但し，複数の被験者データを単純に学習しても良好な結果は得られない  先ず，被験者毎に一般化頭部伝達関数のインパルス応答を推定  被験者毎， 𝜃𝜃, 𝜑𝜑 方向のインパルス応答毎に，応答が最大となるサンプルを特定  複数の被験者データを学習する際に，上記が被験者間で一致する様にデータの位相を補正 33
34.  The sample at which the impulse response in the 𝜃𝜃, 𝜑𝜑 direction is at its maximum differs between subjects  𝜃𝜃, 𝜑𝜑 方向のインパルス応答が最大となるサンプルは，被験者間で異なる Subject H3, 被験者 H3, vertical plane Subject H4, 被験者 H4, vertical plane 34
35. Examples of estimated Typical GHRTF 典型的な一般化頭部伝達関数の推定例 Vertical, N＝23 35
36. Vertical, N＝23 36
37. Applying Typical GHRTF to SoundObject 典型的な GHRTF の SoundObject への適用 37
38. Overview of SoundObject SoundObject の概要  Generating binaural sound from an audio source and its positional data (Object-based)  Sense of L and R: ITD, ILD, and sphere scattering effect filter  Sense of up, down, forward and back: vertical HRTF  Perception of speed due to the Doppler effect  音源とその位置情報からバイノーラルサウンドを生成 (オ ブジェクトベース)  左右の方向感: ITD, ILD と球による散乱効果フィルタ  上下前後の方向感: 垂直面の HRTF  ドップラー効果による速度感 38
39. Architecture of SoundObject SoundObject のアーキテクチャ 39
40. Issues of binaural audio rendering using HRTF (repeat) 頭部伝達関数によるバイノーラルオーディオ再生の課題 (再掲) Personalized HRTF 個人化 HRTF HRTF of dummy head ダミーヘッドの HRTF Cost コスト High Low Audo quality 音質 For sound effects, not music 効果音向け，音楽には向かない High Sense of direction Good 方向感 良好 Misrecognition occurs in the forward, backward and downward directions 前後，下方向で誤認識が生じる Sense of distance 距離感 Poor; there is little sense of distance, especially in the forward direction 乏しい，特に正面方向の距離感は皆無  To promote the widespread adoption of HRTFs, high audio quality and typical HRTFs are needed  頭部伝達関数の普及には，音質が高く，かつ典型的な頭部伝達関数が必要 40
41. Vertical plane impulse responses of KU 100 and KEMAR KU 100, KEMAR の垂直面におけるインパルス応答 KU 100 KEMAR 41
42. Vertical plane frequency responses of KU 100 and KEMAR KU 100, KEMAR の垂直面における周波数応答 KU 100 KEMAR 42
43. Effects of Typical GHRTF in vertical plane 垂直面における典型的な GHRTF の効果  In the SoundObject ver. 4.1, the Typical GHRTF is applied in the vertical plane  Higher sound quality is achieved compare to dummy head and personalized HRTFs  A sufficient sense of up/down and front/back localization is achieved  Directional misrecognition, which often occurs with dummy-head HRTFs, does not occur  Sound Object ｖer.4.1 では典型的な一般化頭部伝達関数を垂直面に適用  ダミーヘッドや個人化 HRTF より高い音質が得られた  前後および上下の方向感は十分得られた  ダミーヘッドの HRTF で頻発した方向感の誤認識は生じない 43
44. Summary まとめ  To promote the widespread adoption of HRTFs, high audio quality and typical HRTFs are required  A Typical GHRTF and a machine-learning-based method for estimating its parameters were proposed  Sound quality was improved compared with those of dummy-head and personalized HRTFs  A sufficient sense of direction was achieved using the Typical GHRTF  As an implementation, the VST 3 plug-in SoundObject ver. 4.1.1 for Windows is available free of charge  頭部伝達関数の普及には，音質が高く，かつ典型的な頭部伝達関数が必要  典型的な一般化頭部伝達関数と，機械学習によるパラメータを推定方法を提案  ダミーヘッドや個人化 HRTF より高い音質が得られる  典型的な一般化頭部伝達関数で方向感は十分得られる  実装として Windows 用の VST 3 プラグイン SoundObject ver. 4.1.1 をフリーで公開 44
45. Questions 質疑応答 45
46. Thank you! 46