Slide 1
Slide 1 text
VC ClientでRVC完全に理解した
@unsoluble_sugar
2023/05/25 エンジニア達の「完全に理解した」Talk #41
Slide 2
Slide 2 text
突然ですが
Slide 3
Slide 3 text
こんな悩み
ありますよね？
Slide 4
Slide 4 text
姿は可愛い女の子なのに
Slide 5
Slide 5 text
声はおじさん
Slide 6
Slide 6 text
全人類が抱える
社会課題
Slide 7
Slide 7 text
これまで数々のバ美声系ソフトを試してきたが…
Slide 8
Slide 8 text
挫折
Slide 9
Slide 9 text
時は流れ…
西暦2023年4月
Slide 10
Slide 10 text
救世主
到来
Slide 11
Slide 11 text
「RVC」とやらがすごいらしい
https://www.techno-edge.net/article/2023/04/09/1130.html
https://note.com/omiz_aiart/n/nfda54eb610fd
Slide 12
Slide 12 text
● Retrieval-based-Voice-Conversion
● 音声変換AIを使ったリアルタイムボイスチェンジャー
● 最低10分間程度の音声データで学習が可能
RVCとは
https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
Slide 13
Slide 13 text
時は来た
Slide 14
Slide 14 text
VC Clientを試してみた
https://github.com/w-okada/voice-changer
Slide 15
Slide 15 text
VC Clientとは
● 各種音声変換AIを用いてリアルタイム音声変換を行うための
クライアントソフトウェア
● サポートする音声変換AI ※v.1.5.3.2時点
○ MMVC
○ so-vits-svc
○ RVC(Retrieval-based-Voice-Conversion)
○ DDSP-SVC
Slide 16
Slide 16 text
ローカルPCからの利用以外にリモートでの利用も可能
画像引用：w-okada/voice-changer
Slide 17
Slide 17 text
事前ビルド済みBinaryの利用がお手軽
Slide 18
Slide 18 text
start_http.batを実行（Windows版）
Slide 19
Slide 19 text
初回起動は少し時間がかかるよ
Slide 20
Slide 20 text
RVCを選択
Slide 21
Slide 21 text
起動時の画面
Slide 22
Slide 22 text
v.1.5.3.1以降、サンプルモデルデータですぐに音声変換を試せるように
Slide 23
Slide 23 text
Speaker Settingでピッチ調整
● Tuningの目安
○ 男声 → 女声 +12
○ 女声 → 男声 -12
Slide 24
Slide 24 text
Converter Settingで遅延調整
● InputChunk Num
○ 一度の変換でどれくらいの長さを切り取って変換するか
○ 大きいほど効率が高まるが変換開始までの最大時間が伸びる(buf)
● Extra Data Length
○ 音声変換時、入力にどれくらいの長さの過去の音声を入れるか
○ 長いほど精度が高まるが計算時間も長くなる(res)
Slide 25
Slide 25 text
もちろん学習したモデルデータの使用も可能
● 学習は本家RVCやddPn08RVCで行う
● Model Settingで学習済みモデルをアップロード
○ ONNX 形式(.onnx), PyTorch 形式(.pth)
Slide 26
Slide 26 text
【革命】リアルタイムボイチェンソフト「VC Client」でついに念願のカワボをてにいれたぞ！
Slide 27
Slide 27 text
開発者への感謝も忘れずに
Slide 28
Slide 28 text
AI技術
発展の一方で
Slide 29
Slide 29 text
悪用の危険性も理解しよう
試される判断力...ディープフェイクの最前線 (ニュース) | ABEMA
Slide 30
Slide 30 text
冒頭に登場したおじさんも
Stable Diffusionで作成