VC ClientでRVC完全に理解した / rvc-with-vcclient-completely-understood

エンジニア達の「完全に理解した」Talk #41 の発表スライドです
https://easy2.connpass.com/event/282672/

【革命】リアルタイムボイチェンソフト「VC Client」でついに念願のカワボをてにいれたぞ！
https://note.com/unsoluble_sugar/n/ndd8781101700

Transcript

1. VC ClientでRVC完全に理解した
   @unsoluble_sugar
   2023/05/25 エンジニア達の「完全に理解した」Talk　#41
   

   View Slide

2. 突然ですが
   

   View Slide

3. こんな悩み
   ありますよね？
   

   View Slide

4. 姿は可愛い女の子なのに
   

   View Slide

5. 声はおじさん
   

   View Slide

6. 全人類が抱える
   社会課題
   

   View Slide

7. これまで数々のバ美声系ソフトを試してきたが…
   

   View Slide

8. 挫折
   

   View Slide

9. 時は流れ…
   西暦2023年4月
   

   View Slide

10. 救世主
    到来
    

    View Slide

11. 「RVC」とやらがすごいらしい
    https://www.techno-edge.net/article/2023/04/09/1130.html
    https://note.com/omiz_aiart/n/nfda54eb610fd
    

    View Slide

12. ● Retrieval-based-Voice-Conversion
    ● 音声変換AIを使ったリアルタイムボイスチェンジャー
    ● 最低10分間程度の音声データで学習が可能
    RVCとは
    https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
    

    View Slide

13. 時は来た
    

    View Slide

14. VC Clientを試してみた
    https://github.com/w-okada/voice-changer
    

    View Slide

15. VC Clientとは
    ● 各種音声変換AIを用いてリアルタイム音声変換を行うための
    クライアントソフトウェア
    ● サポートする音声変換AI ※v.1.5.3.2時点
    ○ MMVC
    ○ so-vits-svc
    ○ RVC(Retrieval-based-Voice-Conversion)
    ○ DDSP-SVC
    

    View Slide

16. ローカルPCからの利用以外にリモートでの利用も可能
    画像引用：w-okada/voice-changer
    

    View Slide

17. 事前ビルド済みBinaryの利用がお手軽
    

    View Slide

18. start_http.batを実行（Windows版）
    

    View Slide

19. 初回起動は少し時間がかかるよ
    

    View Slide

20. RVCを選択
    

    View Slide

21. 起動時の画面
    

    View Slide

22. v.1.5.3.1以降、サンプルモデルデータですぐに音声変換を試せるように
    

    View Slide

23. Speaker Settingでピッチ調整
    ● Tuningの目安
    ○ 男声 → 女声 +12
    ○ 女声 → 男声 -12
    

    View Slide

24. Converter Settingで遅延調整
    ● InputChunk Num
    ○ 一度の変換でどれくらいの長さを切り取って変換するか
    ○ 大きいほど効率が高まるが変換開始までの最大時間が伸びる(buf)
    ● Extra Data Length
    ○ 音声変換時、入力にどれくらいの長さの過去の音声を入れるか
    ○ 長いほど精度が高まるが計算時間も長くなる(res)
    

    View Slide

25. もちろん学習したモデルデータの使用も可能
    ● 学習は本家RVCやddPn08RVCで行う
    ● Model Settingで学習済みモデルをアップロード
    ○ ONNX 形式(.onnx), PyTorch 形式(.pth)
    

    View Slide

26. 【革命】リアルタイムボイチェンソフト「VC Client」でついに念願のカワボをてにいれたぞ！
    

    View Slide

27. 開発者への感謝も忘れずに
    

    View Slide

28. AI技術
    発展の一方で
    

    View Slide

29. 悪用の危険性も理解しよう
    試される判断力...ディープフェイクの最前線 (ニュース) | ABEMA
    

    View Slide

30. 冒頭に登場したおじさんも
    Stable Diffusionで作成
    

    View Slide