Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
高音質リアルタイム声質変換 Chainer Meetup LT #1
Search
Hiroshiba
April 18, 2019
0
440
高音質リアルタイム声質変換 Chainer Meetup LT #1
Chainer Meetup LT #1の資料です。
https://chainer.connpass.com/event/81556/
Hiroshiba
April 18, 2019
Tweet
Share
Featured
See All Featured
RailsConf 2023
tenderlove
30
1.1k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
510
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
820
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
The Pragmatic Product Professional
lauravandoore
35
6.7k
Six Lessons from altMBA
skipperchong
28
3.9k
Transcript
高音質リアルタイム声質変換 廣芝 和之 2018/03/22
自己紹介 ドワンゴ Dwango Media Village、研究開発チーム 好きなゲーム Splatoon 一番好きなバーチャルYoutuber 輝夜月 今期イチオシアニメ
デスマーチからはじまる異世界協奏曲 5XJUUFS*%!IJIP@LBSVUB
なりたい姿になる技術は進んでいる 例: バーチャルYoutuber なりたい声になる技術が遅れている 理想のシステム リアルタイムで 高音質で 誰の声でも変換できて 誰の声にも変換できるやつ 見た目の仮想化は進んでいる
5XJUUFS*%!IJIP@LBSVUB ࠓճϦΞϧλΠϜˍߴԻ࣭ͷ࣮ݱʹνϟϨϯδ
音声合成ソフトウェアの一種 VOICELOID VOCALOID 中の人は石黒千尋さん 音声合成にすごく適した声の持ち主 通称「波形美人」 結月ゆかりを目指す ʮ͋ΒΏΔݱ࣮Λɺશͯɺࣗͷํ೧͡ۂ͛ͨͷͩɻʯ
σΟʔϓϥʔχϯάͷྗͰ ݄݁Ώ͔ΓͷʹͳͬͯΈ·ͨ͠
リアルタイム声質変換デモ GPU付きPCが必要 持ってこなかったので動画 遅延は3〜4秒 バッファの幅1秒 音響特徴量抽出1〜2秒 GPU処理が1秒
ゲーム実況プレイデモ ディープラーニングの力で結月ゆかりの声になってみた http://www.nicovideo.jp/watch/sm32724409 録音した音声と変換結果を重ねた 笑い声も変換できている
モデルの工夫1 2段階構成にした 高音質な変換を学習させるには、大量のペアデータが必要になる 低音質変換と高音質化に分けた Ի࣭
݄݁Ώ͔Γ ߴԻ࣭ ݄݁Ώ͔Γ ม ߴԻ࣭Խ ɾػցֶश࣌ʹগͷϖΞσʔλ͕ඞཁ ɾػցֶश࣌ʹϖΞσʔλෆཁ ɹʢେྔͷԻσʔλ͕͋Ε͍͍ʣ
モデルの工夫2 画像分野の手法(pix2pix)を転用した 音声を時間×周波数の「絵」として捉える 時間方向にも周波数方向にも繰り返し構造があるので、CNNと相性が良いはず ߴԻ࣭Խલ ߴԻ࣭Խޙ
その他 技術寄りの解説記事やデモ動画を公開してます 「ディープラーニング 結月ゆかり」で検索! コードもGitHubで公開しています chainer製 「become-yukarin」で検索! 課題 変換結果の滑舌が悪い → 学習データのチューニングでマシになった 僕の声にしか対応してない → 誰の声でも変換できるように頑張ってます
ʮਫ্͕͕͖ͬͯͨΒɺ ͋ͱΏͬ͘Γͱɺ ্Լͤ͞Εྑ͍ʯ
ご静聴ありがとうございました
自己紹介 ドワンゴ Dwango Media Village、研究開発チーム 好きなゲーム Splatoon 一番好きなバーチャルYoutuber 輝夜月 今期イチオシアニメ
デスマーチからはじまる異世界協奏曲 5XJUUFS*%!IJIP@LBSVUB