VC ClientでRVC完全に理解した / rvc-with-vcclient-completely-understood

Slide 1

Slide 1 text

VC ClientでRVC完全に理解した @unsoluble_sugar 2023/05/25 エンジニア達の「完全に理解した」Talk　#41

Slide 2

Slide 2 text

突然ですが

Slide 3

Slide 3 text

こんな悩みありますよね？

Slide 4

Slide 4 text

姿は可愛い女の子なのに

Slide 5

Slide 5 text

声はおじさん

Slide 6

Slide 6 text

全人類が抱える社会課題

Slide 7

Slide 7 text

これまで数々のバ美声系ソフトを試してきたが…

Slide 8

Slide 8 text

挫折

Slide 9

Slide 9 text

時は流れ… 西暦2023年4月

Slide 10

Slide 10 text

救世主到来

Slide 11

Slide 11 text

「RVC」とやらがすごいらしい https://www.techno-edge.net/article/2023/04/09/1130.html https://note.com/omiz_aiart/n/nfda54eb610fd

Slide 12

Slide 12 text

● Retrieval-based-Voice-Conversion ● 音声変換AIを使ったリアルタイムボイスチェンジャー ● 最低10分間程度の音声データで学習が可能 RVCとは https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI

Slide 13

Slide 13 text

時は来た

Slide 14

Slide 14 text

VC Clientを試してみた https://github.com/w-okada/voice-changer

Slide 15

Slide 15 text

VC Clientとは ● 各種音声変換AIを用いてリアルタイム音声変換を行うためのクライアントソフトウェア ● サポートする音声変換AI ※v.1.5.3.2時点 ○ MMVC ○ so-vits-svc ○ RVC(Retrieval-based-Voice-Conversion) ○ DDSP-SVC

Slide 16

Slide 16 text

ローカルPCからの利用以外にリモートでの利用も可能画像引用：w-okada/voice-changer

Slide 17

Slide 17 text

事前ビルド済みBinaryの利用がお手軽

Slide 18

Slide 18 text

start_http.batを実行（Windows版）

Slide 19

Slide 19 text

初回起動は少し時間がかかるよ

Slide 20

Slide 20 text

RVCを選択

Slide 21

Slide 21 text

起動時の画面

Slide 22

Slide 22 text

v.1.5.3.1以降、サンプルモデルデータですぐに音声変換を試せるように

Slide 23

Slide 23 text

Speaker Settingでピッチ調整 ● Tuningの目安 ○ 男声 → 女声 +12 ○ 女声 → 男声 -12

Slide 24

Slide 24 text

Converter Settingで遅延調整 ● InputChunk Num ○ 一度の変換でどれくらいの長さを切り取って変換するか ○ 大きいほど効率が高まるが変換開始までの最大時間が伸びる(buf) ● Extra Data Length ○ 音声変換時、入力にどれくらいの長さの過去の音声を入れるか ○ 長いほど精度が高まるが計算時間も長くなる(res)

Slide 25

Slide 25 text

もちろん学習したモデルデータの使用も可能 ● 学習は本家RVCやddPn08RVCで行う ● Model Settingで学習済みモデルをアップロード ○ ONNX 形式(.onnx), PyTorch 形式(.pth)

Slide 26

Slide 26 text

【革命】リアルタイムボイチェンソフト「VC Client」でついに念願のカワボをてにいれたぞ！

Slide 27

Slide 27 text

開発者への感謝も忘れずに

Slide 28

Slide 28 text

AI技術発展の一方で

Slide 29

Slide 29 text

悪用の危険性も理解しよう試される判断力...ディープフェイクの最前線 (ニュース) | ABEMA

Slide 30

Slide 30 text

冒頭に登場したおじさんも Stable Diﬀusionで作成