発表用スライド「Auris」

Transcript

1. 歌声合成, 変換, TTSが できる効率的な日本語 事前学習済みモデルの 開発 Auris uthree, yuto Project Auris
2. 既存モデル 非常に高性能でスタイル 制御機能もあるがピッチ 制御ができないため歌唱 は不可能 Style-BERT-VITS2 同じく高性能だがピッチ 制御ができないため歌唱 は不可能 GPT-SoVITS TTSはできるが 歌唱不可なモデルたち
3. 既存モデル これはTTSモデルではない が、VITSベースでNSFモ デルなので、ピッチ制御 付きの歌声変換が可能。 faissによる最近傍探索に より高品質な音声合成が できる。しかしTTSをする 機能は持っていない。 RVC 既存のモデルではピッチ制御可能でTTSができるものが存在しない。 よって、アーキテクチャを新規に設計することにする。 TTS不可なモデル
4. 我々の音声モデルの利点 より多機能 より自由 より日本語向け TTS(テキスト音声合成) SVS(歌唱音声合成) SVC(歌唱音声変換) 等 MITライセンスを採用 モデルの大きさを選べる (PCスペックを選ばない) 日本語事前学習モデル
5. 結果と成果 独自アーキテクチャの音声モデルができた 大規模な事前学習モデルの学習がうまくいかなかった ただし、小さなデータ数(jvsコーパス)でsmallモデル を作成した際にはTTSタスクができることが確認でき ていた
6. 実装
7. 実装
8. VITS2から改造した点 DecoderをDSP+HnNSF-HiFiGANに変更。DSP機能を取り入れることで、外部からピッチ を制御可能に。これにより歌声合成ができる。 Text Encoderに言語モデルの特徴量を参照する機能をつけ、感情や文脈などを読み取れる ように。 Feature Retrievalを追加し話者の再現性を向上させる VITS2のDuration Discriminatorを追加 Discriminatorのうち、MultiScaleDiscriminatorをMultiResolutionalDiscriminatorに変 更。スペクトログラムのオーバースムージングを回避する。
9. うまくいかなかった原因の考察 ハイパーパラメータの値 が、手元のコンピュター、 学習素材を用いて学習した 時とは勝手が異なっており 学習がうまくいかなかった 正直原因がわかっていない
10. 今後の展望 うまくいかなかった事前学習モデル作成をまたの 機会にリベンジしたい リベンジ 作成した音声モデルはGit Hubで公開する 第三者によるレビューを受けて改善したい コード公開
11. 質問はございますか？ ありがとう ございました