機械学習を用いた物理シミュレーションによる合成音声技術の開発

rtMRIやEMAのデータセットから、機械学習を用いた物理シミュレーションで音声合成する、というテーマです。

声道形状の画像を加工(フーリエ変換など)して滑らかな管としてみなし、流体シミュレーションで音声を合成します。
シミュレーションでは時間がかかる有限要素法などではなく、FNO及びPINNsを用いて高速化し、リアルタイム性を担保できればと考えています。

FNOは端的に言えば、学習データや入力を画像や音声などの離散値ではなく、連続値として扱う手法です。離散値のデータをフーリエ変換して無限次元をもつ波の集まりとみなすことで、解像度に依存しない機械学習の手法となります。これを応用したGeo-FNOは偏微分方程式のソルバーとして扱え、流体シミュレーションに使用した例があります。

PINNsは損失関数の計算の中に物理法則を記述する偏微分方程式を入れ込むことで、物理的に矛盾しない範囲での学習を行う手法です。これを物理シミュレーションベースの音声合成に使用した先行研究はありますが、一次元モデルに限られます。

もしマシンスペックなどの問題で流体シミュレーションが難しい場合、声道の動画像と音声の対応付けを学習させることでもほぼ同じことが可能ではないか？と考えています。

Transcript

1. FNO及びPINNsを用いた 物理的制約下の調音音声合成 松下 裕也 東京理科大学 創域理工学部 情報計算科学科
2. 1.前提知識
3. 1. 前提知識  現在用いられている合成音声には、主に以下のようなものがある。  単位選択型合成音声  予め録音した発音を繋ぎ合わせる、最も基本的なもの  ニューラルネットワーク合成音声  いわゆる「AI音声」、データセットから特徴量を抽出しそれを基に音声を生成  この二つについて解説し、その問題点を述べる。
4. 1. 前提知識  単位選択型合成音声…「録音した音を貼り合わせる」 予め録音した音素を繋ぎ合わせてひとまとまりの音声を表現する。 子音と母音を別々に録音して繋ぎ合わせるのが近年では主流。 例えば、「合成」という単語の発声を合成したいときは、[ɡ][o][ɯ][s][e][i] の6個の音素を繋げて表現する。 「合成」 テキスト 音素解析 [ɡ][o][ɯ] [s][e][i] 音素 接続 音声波形 漢字かな変換
5. 1. 前提知識  単位選択型合成音声 ニューラルネットワーク合成音声登場以前の合成音声はこの形式が多い。 一昔前の歌声合成やナレーション、駅名の自動放送などに見られ、録音した 音を繋げるだけなので比較的実装が楽なのが特徴。
6. 1. 前提知識  ニューラルネットワーク合成音声...「AIで抑揚や声色を付加」 近年の主流で、いわゆる「AI音声」はこの分類に入る。 予め様々な音声を事前学習させたデータセットと、話者の声質の特徴量など を用いる。
7. 1. 前提知識  ニューラルネットワーク合成音声 ①テキストを音素へ分解し、抑揚や発音の長さなどの情報を付加 ②そこに話者の声質の特徴を付加しメルスペクトログラムを生成 ③最終的な音声波形に変換 の流れで音声を合成し、人間に近い抑揚や感情表現が可能。 最近はこの流れではなく、直接テキストから音声波形を生成するものもある。 「合成」 テキスト 音素解析 [ɡ][o][ɯ] [s][e][i] 音素 位相補完 音声波形 漢字かな変換 メルスペクトログラム 特徴量付加
8. 1. 前提知識  以上二つの問題点  単位選択型合成音声、ニューラルネットワーク合成音声の両方には、ある共 通点が存在する。  双方とも、話者が固定されていることを前提としており、その声質を完全に、 自由に変化させることは難しい。  単位選択型合成音声の場合、録音された音声を用いている時点で声質は完全 に固定化されている。  ニューラルネットワーク合成音声の場合、「話者性」を表すパラメータはブ ラックボックス状態で、外部から変更するのは難しい。 話者A 話者B
9. 1. 前提知識  以上二つの問題点  この「話者の固定性」を解決し、音素や声質を自由に変化させられる方式と して、「調音音声合成」がある。  これは、上二つとは根本的に仕組みが異なり、「話者からの録音」の過程を 必要としない。(少なくとも原理的には)  実際は話者の声を再現するために、録音や声道のデータを取っていることが 多い。
10. 1. 前提知識  調音音声合成…「物理的に近いアプローチ」 人間が声を出す際の仕組み(調音運動)をモデル化し、それをもとに音声を合 成する。 古典的なモデルでは、人の発声過程(声帯~声道)をパラメータとして表現し、 それを音声と対応付ける。 例えば、声帯から発する音の基本周波数や声道の断面積などを変数として、 組み合わせることで音素や声質を表現する。(ソースフィルタモデル)
11. 1. 前提知識  調音音声合成 近年では、MRI(声道の断面を撮影)やEMA(舌の動きを取得)などで 声道の動きを撮影し、それと録音した音声を基に音声合成を行う手法が研究 されている。
12. 2. 研究概要
13. 2. 研究概要  私の研究テーマ： 「FNO及びPINNsを用いた、物理的制約下の調音音 声合成」 …FNOとは？PINNsとは？ 調音とどんな関係が？
14. 2. 研究の概要  目標 声質を自由に変化させられ、直感的に操作できる 合成音声フレームワークの作成 既存の合成音声手法だと、「話者性」のパラメータがどうしても必要 つまり、声質を自由に変化させて未知の話者を作ることができない →物理的アプローチを取ることで話者非依存の合成音声が可能なのでは？
15. 3. 手法の解説 FNOとPINNs
16. 3. 手法の解説-FNO  FNOとは？-概要 「Fourier Neural Operator」の略。 端的に言えば、「Fourier展開」のアイデアから、ニューラルネットワークへ の入力(画像や音声など)を離散的な点群ではなく、その入力を与える連続値 関数とみなし、フーリエ変換して周波数領域へ移す。 その後の学習や計算も波ベースで行い、最後に逆フーリエ変換で離散的な値 として結果を出力する。 FFT 離散値 連続値 離散値 IFFT 学習・計算
17. 3. 手法の解説-FNO  FNOとは？-概要 出典: https://www.physicsx.ai/newsroom/how-a-fourier-neural-operator-learns-to-solve-pdes----and- where-it-falls-short
18. 3. 手法の解説-FNO  FNOとは？-詳細 既存のCNNなどとの違いは、「内部でのデータ形式が本質的に連続的」であ る点である。 解像度やメッシュ精度に縛られることなく、より実環境に近い形で学習や計 算が行える。 声道のような滑らかな形状に対しては、Geo-FNOを用いることが多い。 →FFT自体が「グリッドでの分割」を伴うためそのままでは適さない (Z. Li, D. Z. Huang, B. Liu, and A. Anandkumar, "Fourier Neural Operator with Learned Deformations for PDEs on General Geometries," J. Mach. Learn. Res., vol. 24, no. 388, pp. 1-26, 2023.)
19. 3. 手法の解説-FNO  FNOとは？-詳細 Geo-FNO単体で、流体解析などにも応用可能。
20. 3. 手法の解説-PINNs  PINNsとは？-概要 「Physics-informed Neural Networks」の略。 機械学習の手法の一つで、物理法則を記述する偏微分方程式を機械学習にお ける損失関数の計算に繰り込み、解析的に解く。 例えば、波動方程式や熱伝導方程式などを解くことが可能。
21. 3. 手法の解説-PINNs  PINNsとは？-概要 有限要素法など既存の手法と比べ、以下のメリット・デメリットがある。 メリット: 連続値を受け付ける、多様な方程式に対応、逆解析が簡単 デメリット: failure mode(不適切だが条件に合う近似解で安定してしまう)、 初期条件や境界条件の変化に対し弱い(汎化できない)
22. 3. 手法の解説-PINNs  PINNsとは？-概略 出典: https://www.msiism.jp/article/physics-informed-machine-learning2.html 入力: 座標、時刻などの変数 出力: その変数の下での偏微分方程 式の解 損失関数: 出力が初期条件、境界条 件、偏微分方程式のそれぞれを満た しているかどうか (値が近いほど良い)
23. 3. 手法の解説-比較  有限要素法やCNNも含めた各手法との比較検討 有限要素法など CNN PINNs FNO 原理 格子点ごとに直接 微分方程式を計算 ピクセル間の パターンを学習 座標の入力と 物理的な損失関数 関数空間への写像を 学習 物理的妥当性 正確 なし (ブラックボックス) 高い なし or 高い (手法による、後述) 学習データ量 なし(数式のみ) 大規模 中程度 中~大規模 推論速度 非常に遅い 早い 遅い 早い 未知状態の対応 遅いが可能 困難(解像度に依存) 困難 得意 解像度の自由度 高い(再計算は必要) 固定 低い 高い 計算量 O(N・T) O(N・L) (L: 層数) O(N × Epochs) O(N logN) 逆解析 困難 困難 簡単 困難
24. 3. 手法の解説  要するに… ・有限要素法など: 正確、時間がかかりすぎる ・CNN: ピクセルベースで拡大縮小に弱い、ブラックボックス ・PINNs: 物理的に妥当、未知の状態の推論に弱い ・FNO: 物理的妥当性は低い、推論が早い →FNO、PINNsの組み合わせを使うのが現時点で最良
25. 3. 手法の解説  FNOとPINNs ・最初はPINNsをメインで用い物理的妥当性を高めようと考えていた ・汎化性能が著しく低いのを改善できなさそうなので、FNOをメイン としPINNsは補助的に用いる予定 ・PINNsの考え方を用いて、FNOの損失関数の計算に物理法則も繰り込 み、複合的に用いることを検討(Physics-informed FNO, PINO) (Z. Li et al., "Physics-Informed Neural Operator for Learning Partial Differential Equations" arXiv, 2021.) ・PINNsにも逆解析が得意で、特定話者の模倣には非常に適していると いう利点があるので、医療分野や話者変換などでは単体で応用可能
26. 3. 手法の解説  なぜPINNsも使う？(PINO) Geo-FNO自体も単体で偏微分方程式の解を求められる(先述) しかし、Geo-FNOはPINNsのように物理法則を直接組み込んでおらず、 データセットが少ない現状、物理的制約がなければ破綻した音声が出 力される可能性がある 「物理的に正しい」解を学習させようとすれば既存の数値シミュレー ションの結果を教師データとして用いる必要があり、その生成には時 間がかかる
27. 4. 研究の詳細
28. 4. 研究の詳細  2つのアプローチ FNO(とPINNs)を調音音声合成に用いるにあたり、大きく分け2つの手 法が考えられる。 ①声道画像と音声の対応付けを学習 ②偏微分方程式のソルバーとして、声道内の流体 解析に使用
29. 4. 研究の詳細  ①の手法 ・FNOを用いて、声道形状のMRI動画やEMAのデータと、その時の音 声を結び付けて学習 ・不足するデータを補うために数値シミュやPINNsも補助的に活用 ・それをもとに、声道形状のパラメータと出力される音声のパラメー タの対応づけとして、ニューラルネットワークを作成 ・以上ができれば、理論上はヒトの音声に関する全てのパラメータに 対応する声道形状のパラメータができるため、声道形状を自由に変化 させることでヒトの発声可能な任意の音声を合成可能。
30. 4. 研究の詳細  ①の手法 音声データ 声道形状 データ 対応付けて 学習 未知・自作の 声道形状 合成音声 PINO (FNO×PINNs) 流体力学(補助的)
31. 4. 研究の詳細  ①の手法 簡単に言えば、「この声道形状の時はこんな声が出る」のパターンを 大量に学習させ、未知の声道形状の入力に対応できるようにする。 元々の「物理ベース」からは少し外れるが、データさえあれば普通の CNNとそこまで変わらないので学習コストは低い。 この手法でも十分にデータがあれば未知の声道形状に対応可能。
32. 4. 研究の詳細  ②の手法 ・FNOを偏微分方程式(PDE)ソルバーとして用い、声道を空気(圧縮性 流体)の通る管としてシミュレーションする ・あらかじめ有限要素法など既存の数値シミュレーションで波動方程 式の解を導出し、それと声道形状の対応を学習させる
33. 4. 研究の詳細  ②の手法 声道形状 データ 未知・自作の 声道形状 合成音声 PINO (FNO×PINNs) 流体シミュ
34. 4. 研究の詳細  ②の手法 簡単に言えば、既存の数値シミュレーションの代わりにFNOを用いる。 物理的妥当性も強く堅牢だが、学習段階では既存の数値シミュレー ションを動かす必要があるためコストが高い。 また、摩擦音など子音も厳密にシミュレーションする場合FNO自体の 計算負荷も高いので、既存の音源フィルタ理論と組み合わせることも 検討。
35. 4. 研究の詳細  2つのアプローチの比較 FNOの使い方 声道と音声の対応を学習 偏微分方程式ソルバーとして使用 モデル学習難易度 中程度 高い 学習データに数値シミュの結果が必要 物理的妥当性 低い 調音ベースのため単位選択型等よりは高い 高い 未知のデータへの対応度 (≒自由度) 中程度 学習データに依存 高い 完全に物理ベースであるため
36. 4. 研究の詳細  先行研究  FNO関連  M. Deng et al., "Interpretable vocal tract and respiratory inversion via physics-informed neural operators" Sci. Rep., 2026.  PINNs関連  K. Yokota et al., "Physics-Informed Neural Networks for Speech Production," arXiv, 2025.  M. Lu et al., "Learning Vocal-Tract Area and Radiation with a Physics- Informed Webster Model" ICASSP, 2026.
37. 4. 研究の詳細  先行研究との違い  これらの先行研究ではrtMRIやEMAなどの実データを用いておらず、単 純な一次元声道モデルにおける概念実証程度にとどまっている  私の研究室で取られたデータセットを用いて学習を行えば、より現実に 近い音声合成ができるのではないか。
38. 4. 研究の詳細  このアプローチのメリットとデメリット  メリット  物理的にある程度妥当性がある  声道形状ベースで、更にPINNsの考え方を一部取り入れているため  話者に依存しない  データさえあれば細かい感情表現などに応用可能  デメリット  学習コストが高い  データセットが少なく、取得コストが高い  MRIなどを用いるため
39. 4. 研究の詳細  現在の進捗  まだ研究を始めたばかりなので、先日までPINNsの低い汎化性能に気づ いていなかったように、一部リサーチ不足が存在  今後の展望  できれば夏前には簡単なモデルを作成し、何かしらの声は合成できるレ ベルにしたい  FNOを用いるとしても、どちらのアプローチを取るかを検討  データセットが手に入れば、声道の3Dモデルを用いることも検討
40. 4. 研究の詳細  最終目標  完成するかは分からないが、もし可能なら「自分だけの声を作れる物理 ベースの合成音声ソフトウェア」としてリリースしたい