Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
Search
NobuakiOshiro
PRO
August 16, 2024
Technology
0
68
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
https://omoshiroai.connpass.com/event/326638/
NobuakiOshiro
PRO
August 16, 2024
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
20240725_ChatGPTでできること_2024夏・簡易版
doradora09
PRO
0
24
20240724_オモシロAIごった煮会_第13回_オープニングトーク
doradora09
PRO
0
33
20240724_オモシロAIごった煮会_LT_suno3.5できらきら星アレンジ
doradora09
PRO
0
36
20240704_AGI福岡_LT_API費用と時給から考えるマルチモーダルなAIとの協業時期
doradora09
PRO
0
150
20240624_ビジネスマンとして知っておきたいChatGPT-4o(オムニ)についての基礎知識
doradora09
PRO
1
71
20240623_ChatGPT部_フォロワー1000名記念会_オープニングトーク
doradora09
PRO
0
94
20240623_LT_ChatGPTの得手不得手を今一度整理して考えてみる
doradora09
PRO
0
120
20240619_オモシロAIごった煮会_LT_LumaAIでいい感じの肉を作って焼く
doradora09
PRO
0
58
20240608_元OpenAI社社員の方のAGIへの懸念資料を少し読んでみる
doradora09
PRO
0
150
Other Decks in Technology
See All in Technology
音声AIエージェントの世界とRetell AI入門 / Introduction to the World of Voice AI Agents and Retell AI
rkaga
5
920
Optuna: a Black-Box Optimization Framework
pfn
PRO
1
110
アプリをリリースできる状態に保ったまま 段階的にリファクタリングするための 戦略と戦術 / Strategies and tactics for incremental refactoring
yanzm
6
750
エンジニア視点で見る、 組織で運用されるデザインシステムにするには
shunya078
1
300
プログラム検証入門
riru
4
730
Javaにおける関数型プログラミンへの取り組み
skrb
7
310
サプライチェーン攻撃に備える
ryunen344
0
160
自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜
pfn
PRO
24
6.9k
Monitor GraalVM Native Apps with OpenTelemetry
logico_jp
0
130
効果的なオンコール対応と障害対応
ryuichi1208
5
2.7k
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
7
910
Developer Experienceを向上させる基盤づくりの取り組み事例集
coconala_engineer
0
120
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
93
5.1k
10 Git Anti Patterns You Should be Aware of
lemiorhan
653
58k
Building Better People: How to give real-time feedback that sticks.
wjessup
359
18k
Adopting Sorbet at Scale
ufuk
73
8.9k
A better future with KSS
kneath
235
17k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
27
7.4k
Six Lessons from altMBA
skipperchong
26
3.3k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
36
2k
Making the Leap to Tech Lead
cromwellryan
128
8.8k
Designing for Performance
lara
604
68k
Faster Mobile Websites
deanohume
304
30k
Writing Fast Ruby
sferik
623
60k
Transcript
Suno3.5の⾳源分離と VrewでのMV作成を 試してみる 2024/8/17 @doradora09
前回と今回 • 前回は「⾳声取り込みのアレンジ」をやりました • 今回はSuno3.5の新機能の⼀つの⾳源分離を今回試してみよう と思います(ついでにVrewというツールでMV作成) 分離 歌声パート 演奏パート
補⾜:⾳のフォーマット2種類 ⾳は基本は波形の重ね合わせですが、コンピュータ等への指⽰フォー マットとしてのMIDI形式もあります( ファミコン⾳源だとピコピコい うあれ ) • WAVE(WAV)形式 • 波形データそのままの録⾳。情報量多い。
• 今回はこちら ( 分離⼤変 ) • MIDI形式 • 着メロとか昔はこの形式(楽譜みたいなもの) • パート別に分かれていたりするので、分離は楽 ( ただし、ボーカルは基本的には扱えないはず )
Suno3.5の⾳源分離機能 • 実装⽅法は謎ですが、ボタン ひとつでOK • 完全な分離は難しそうなもの の、そこそこ分離できる • ⼀⽅で、 「楽器のメロディーの分離」
は難しそう ( あくまで⼈間の歌声の周波 数を分離している雰囲気 ) Get Stemsを 押すだけ
歌声と演奏の2ファイルに分離されます • いくつか分離 の実験をして みましたので 実際に聞いて みます ( 時間あれば )
⾃分の声を inputして作った 曲を分離 ( そこそこ分離 ) ⾃分の声->尺⼋ をメロディーに した曲 (分離できず) ボーカルも⽣成 したもの ( ⼀部分離 )
せっかくなので、VrewでMV作成 • Vrewという便利なツー ルがあったのでこちら を使ってミュージック ビデオ化にトライ • https://vrew.ai/ja/ • 無料枠でも⼗分使える
し、商⽤利⽤もOK • ⾳源分離と応⽤すれば カラオケもいけますね https://ipeinc.jp/media/vrew/
完成したものがこちら • MVの動画、 量産できそうですね • 作成の⼯程と参考資 料は後ろの⽅に載せ てます https://x.com/doradora09/status/1824399035224166635
今後試したいこと • 外部の⾳楽をまるっと分離できるかどうか -> ある程度できそうな気がする ( -> あと、歌声以外の分離ツールは無いかしら・・? ) •
メロディーのMIDI化 -> 多分精度は厳しい。GPT-4oの新ボイスモードに期待 • 上記ができれば、MIDIで楽曲をアレンジ ( or ChatGPTにアレンジを指⽰ ) • アンサンブルの楽譜化等 -> ⽣演奏
Enjoy..!!
補⾜資料
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ イントロなどは空⽩のク リップを⼊れて調整。 秒数は⼿動で微調整
MV作成に参考にした資料 • 先⼈の皆様、ありが とうございますmm https://designex.pro/2024/07/29/suno-aimv/