VC ClientでRVC完全に理解した / rvc-with-vcclient-completely-understood

エンジニア達の「完全に理解した」Talk #41 の発表スライドです
https://easy2.connpass.com/event/282672/

【革命】リアルタイムボイチェンソフト「VC Client」でついに念願のカワボをてにいれたぞ！
https://note.com/unsoluble_sugar/n/ndd8781101700

Transcript

1. VC ClientでRVC完全に理解した @unsoluble_sugar 2023/05/25 エンジニア達の「完全に理解した」Talk　#41
2. 突然ですが
3. こんな悩み ありますよね？
4. 姿は可愛い女の子なのに
5. 声はおじさん
6. 全人類が抱える 社会課題
7. これまで数々のバ美声系ソフトを試してきたが…
8. 挫折
9. 時は流れ… 西暦2023年4月
10. 救世主 到来
11. 「RVC」とやらがすごいらしい https://www.techno-edge.net/article/2023/04/09/1130.html https://note.com/omiz_aiart/n/nfda54eb610fd
12. • Retrieval-based-Voice-Conversion • 音声変換AIを使ったリアルタイムボイスチェンジャー • 最低10分間程度の音声データで学習が可能 RVCとは https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
13. 時は来た
14. VC Clientを試してみた https://github.com/w-okada/voice-changer
15. VC Clientとは • 各種音声変換AIを用いてリアルタイム音声変換を行うための クライアントソフトウェア • サポートする音声変換AI ※v.1.5.3.2時点 ◦ MMVC ◦ so-vits-svc ◦ RVC(Retrieval-based-Voice-Conversion) ◦ DDSP-SVC
16. ローカルPCからの利用以外にリモートでの利用も可能 画像引用：w-okada/voice-changer
17. 事前ビルド済みBinaryの利用がお手軽
18. start_http.batを実行（Windows版）
19. 初回起動は少し時間がかかるよ
20. RVCを選択
21. 起動時の画面
22. v.1.5.3.1以降、サンプルモデルデータですぐに音声変換を試せるように
23. Speaker Settingでピッチ調整 • Tuningの目安 ◦ 男声 → 女声 +12 ◦ 女声 → 男声 -12
24. Converter Settingで遅延調整 • InputChunk Num ◦ 一度の変換でどれくらいの長さを切り取って変換するか ◦ 大きいほど効率が高まるが変換開始までの最大時間が伸びる(buf) • Extra Data Length ◦ 音声変換時、入力にどれくらいの長さの過去の音声を入れるか ◦ 長いほど精度が高まるが計算時間も長くなる(res)
25. もちろん学習したモデルデータの使用も可能 • 学習は本家RVCやddPn08RVCで行う • Model Settingで学習済みモデルをアップロード ◦ ONNX 形式(.onnx), PyTorch 形式(.pth)
26. 【革命】リアルタイムボイチェンソフト「VC Client」でついに念願のカワボをてにいれたぞ！
27. 開発者への感謝も忘れずに
28. AI技術 発展の一方で
29. 悪用の危険性も理解しよう 試される判断力...ディープフェイクの最前線 (ニュース) | ABEMA
30. 冒頭に登場したおじさんも Stable Diffusionで作成