Demucsを用いた音源分離

Music×Analytics Meetup Vol.11での発表内容です。

Transcript

1. Demucsを用いた音源分離 2023/10/28 Music×Analytics Meetup Vol.11 合谷秋人
2. 自己紹介 https://github.com/ch-shin/awesome-nilm 仕事 音楽遍歴 NILM（機器分離）技術の開発 中学 高校 大学以降 • ロキノン系（死語？）からマスロック・エモ寄りも好き • 15~20歳までバンド活動（ギター） • 今はもっぱら聞くだけ（音楽活動したい） その他 • X: @shuto508 • 最近の取り組んでいる・やりたいこと ◦ Kaggleとか興味ある（が、ほぼやっていない） ◦ 引き続き機械学習の勉強（PRMLを頑張って解読中） • 趣味：ビール
3. よくある悩み：耳コピができない…！ 聞きたいパートだけ聞けたらいいのになぁ … • そもそもフレーズが複雑 • 音が埋もれている • etc…
4. 音源分離：合成波形（元音源）を個別要素に分解する 代表的なDeep Learning手法 主な応用先 • AIスピーカー • テレビ会議システム • 補聴器 • etc… • U-Net • Deep clustering • Conv-TasNet • etc… 全体から個別パートに分解
5. Demucs: Metaが開発した音源分離ライブラリ 元となる技術：Wave U-Net Vocal/Bass/Drums/Othersに分離 Wave U-Net: U-Netを1次元にしたもの
6. Google Colab上で簡単に分離結果を得ることが可能 Notebook例 ディレクトリ構成 分離結果 元音源 ノートブックを実行するだけで手軽に音源分離が可能
7. やってみた①：Demo編 波形やメルスペクトログラムではどこで何が鳴っているのか不明 元音源
8. やってみた①：分離結果 Drums Vocal Bass Others 各成分に音源分離できた！！
9. やってみた①：メルスペクトログラム分析 Drums Vocal Bass Others ボーカル/ピアノ 金物/倍音 ベース/ドラム
10. やってみた②：バンド音楽編
11. 感想 - 手軽に分離できるわりに結構綺麗に分離される - パートごとの楽曲構成を調べることもできそう - ボーカルなどは一部違和感のある箇所もあった - 正解データ作りもできそう…？ - リード/バッキングは分けられない（主目的が…） - 音数が減った事自体で聞き取りやすくはなっている！ - DemucsはVocal/Bass/Drums/Othersと分離できる構成が固定
12. ご清聴ありがとうございました！
13. Appendix
14. - https://github.com/facebookresearch/demucs - https://github.com/f90/Wave-U-Net 参考