Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
音声B紹介ポスター@音響学会ビギナーズセミナー
Taiki Nakamura
March 08, 2022
Technology
1
200
音声B紹介ポスター@音響学会ビギナーズセミナー
Taiki Nakamura
March 08, 2022
Tweet
Share
More Decks by Taiki Nakamura
See All by Taiki Nakamura
研究会発表資料.pdf
supikiti
3
250
DDPM解説スライド.pdf
supikiti
0
1.9k
Hydra, MLflow, Optunaの組み合わせで手軽に始めるハイパーパラメータ管理
supikiti
7
2.8k
hydra-mlflow-optuna
supikiti
5
5.2k
Interspeech2020_読み会_nakamura
supikiti
0
500
Other Decks in Technology
See All in Technology
地方自治体業務あるある ーアナログ最適化編-
y150saya
1
130
NGINXENG JP#2 - 3-NGINX Plus・プロダクトのアップデート
hiropo20
0
200
DNS権威サーバのクラウドサービス向けに行われた攻撃および対策 / DNS Pseudo-Random Subdomain Attack and mitigations
kazeburo
5
1.2k
OCI技術資料 : ロード・バランサー 詳細 / Load Balancer 200
ocise
2
7.2k
日経電子版だけじゃない! 日経の新規Webメディアの開発 - NIKKEI Tech Talk #3
sztm
0
160
SmartHRからOktaへのSCIM連携で作り出すHRドリブンのアカウント管理
jousysmiler
1
110
MarvelClient Upgrade 64bit クライアントへの自動アップグレード設定
mitsuru_katoh
0
110
SRE Lounge 2023/SRE Lounge 2023
lmi
0
140
MoT/コネヒト/Kanmu が語るプロダクト開発xデータ分析 - 分析から機械学習システムの開発まで一人で複数ロールを担う大変さ
masatakashiwagi
3
670
エアドロップ for オープンソースプロジェクト
epicsdao
0
370
データ分析基盤の要件分析の話(202201_JEDAI)
yabooun
0
220
「一通りできるようになった」その先の話
hitomi___kt
0
110
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
419
60k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
Mobile First: as difficult as doing things right
swwweet
213
7.8k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
182
15k
Why You Should Never Use an ORM
jnunemaker
PRO
49
7.9k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
217
21k
Six Lessons from altMBA
skipperchong
15
2.3k
Build your cross-platform service in a week with App Engine
jlugia
221
17k
The Power of CSS Pseudo Elements
geoffreycrofte
52
4.3k
Creatively Recalculating Your Daily Design Routine
revolveconf
207
11k
A Tale of Four Properties
chriscoyier
149
21k
Become a Pro
speakerdeck
PRO
6
3.2k
Transcript
音声B 分野紹介 東大院・情報理工 中村泰貴
音声B(音声合成・音声変換) ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 1 音声合成とは 音声を人工的に作り出す技術
音声合成に関する代表的な研究範囲 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 2 どんな情報からどんな音声を生成するかで分野が細分化 テキスト音声合成(Text-to-Speech: TTS) 音声変換(Voice Conversion: VC)
歌声合成(Singing Voice Synthesis) マルチモーダル音声合成 こんにちは TTS VC 合成モデル 歌詞 + 合成モデル こんにちは 口唇情報に基づく音声合成(Lip-to-Speech) 合成モデル 唇の動き 脳波信号に基づく音声合成(EEG-to-Speech) 合成モデル
音声の持つ情報 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 3 パラ言語情報 話し手が意図的に付与するテキスト化できない情報(感情等) 言語情報 何を話しているかといったテキスト化できる情報 非言語情報 非意図的に付与されるテキスト化できない情報(声質等)
音声変換では入力された音声のこれらの一部を変換する技術
音声変換の代表的な研究範囲 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 4 声質変換(名探偵コナンの蝶ネクタイ型変成器) 非言語情報(声質など)のみを変換 感情変換 パラ言語情報(感情など)のみを変換 音韻変換 言語情報(発言内容)のみを変換
/i/ /u/
音声合成に関するサービス/製品 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 5 テキスト音声合成 [1] 音声変換 [2] 歌声合成 [3]
[1] Coefont 社 homepage より, https://coefont.cloud/ [2] AIで声質を“美少⼥”化⾳声変換サービス「七声ニーナ」、DeNAが試験提供, https://www.itmedia.co.jp/news/articles/2105/12/news123.html [3] NEUTRINO homepage より, https://n3utrino.work/
近年のテキスト音声合成技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 6 こんにちは 言語特徴量 抽出 音声特徴量 予測 音声生成
1995 〜 2016年:複数要素から構成される音声合成システム こんにちは 音声特徴量予測 + 音声生成 2017年〜:アテンション機構による End-to-End 音声合成 こんにちは 2019年〜:音素継続長機構による End-to-End 音声合成 音声特徴量予測 + 音声生成 低音質 個別に学習させる必要 並列計算不可 合成失敗の場合あり 並列計算可能 -> 高速 合成失敗の場合なし
近年の声質変換技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 7 1対1音声変換(One-to-One VC) VC (任意)対1音声変換(Any-to-One VC) VC
入出力いずれも学習データに含まれる話者 入力が学習データに含まれない話者 入力された音声から ①話した内容 と ②韻律 を抽出 & 声質は取り除く *声質を取り除きつつ①と②を抽出する VC を学習するのは困難 限られたデータ 事前に大規模データで自己教師あり学習した特徴量を応用し * を実現
近年の声質変換技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 8 自己教師あり学習 特徴抽出 大量の音声データ VC 特徴抽出 大人数の話者が含まれる大規模データを用いて波形から
話した内容と韻律を内包する情報を抽出するよう学習 音声を用いた 様々な技術へ応用 することが可能 Any-to-One VC 自己教師あり学習で得られる特徴量を導入することで高品質化
まとめ ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 9 ▪ 本スライドの内容 音声合成 & 音声変換とは 音声合成
& 音声変換の代表的な研究範囲 音声合成 & 音声変換のサービス/製品 近年の音声合成 & 音声変換 ▪ おまけ(実際に手を動かしてみたい人向けのツールやデータ) 日本語テキスト音声合成向けデータセット:JSUT (10 hours, 1 speaker, studio recording) 日本語音声変換向けデータセット:JVS(24 hours, 100 speakers, studio recording) 日本語歌声合成データセット:東北きりたんコーパス(50 songs, 1 singer) End-to-End 音声合成(変換)ツール:ESPnet, https://github.com/espnet/espnet 統計的パラメトリック音声合成ツール: nnmnkwii, https://github.com/r9y9/nnmnkwii