Demucsを用いた音源分離

Music×Analytics Meetup Vol.11での発表内容です。

Transcript

1. Demucsを用いた音源分離
   2023/10/28
   Music×Analytics Meetup Vol.11
   合谷秋人
   

   View Slide

2. 自己紹介
   https://github.com/ch-shin/awesome-nilm
   仕事
   音楽遍歴
   NILM（機器分離）技術の開発
   中学
   高校
   大学以降
   ● ロキノン系（死語？）からマスロック・エモ寄りも好き
   ● 15~20歳までバンド活動（ギター）
   ● 今はもっぱら聞くだけ（音楽活動したい）
   その他
   ● X: @shuto508
   ● 最近の取り組んでいる・やりたいこと
   ○ Kaggleとか興味ある（が、ほぼやっていない）
   ○ 引き続き機械学習の勉強（PRMLを頑張って解読中）
   ● 趣味：ビール
   

   View Slide

3. よくある悩み：耳コピができない…！
   聞きたいパートだけ聞けたらいいのになぁ …
   ● そもそもフレーズが複雑
   ● 音が埋もれている
   ● etc…
   

   View Slide

4. 音源分離：合成波形（元音源）を個別要素に分解する
   代表的なDeep Learning手法
   主な応用先
   ● AIスピーカー
   ● テレビ会議システム
   ● 補聴器
   ● etc…
   ● U-Net
   ● Deep clustering
   ● Conv-TasNet
   ● etc…
   全体から個別パートに分解
   

   View Slide

5. Demucs: Metaが開発した音源分離ライブラリ
   元となる技術：Wave U-Net Vocal/Bass/Drums/Othersに分離
   Wave U-Net: U-Netを1次元にしたもの
   

   View Slide

6. Google Colab上で簡単に分離結果を得ることが可能
   Notebook例 ディレクトリ構成 分離結果
   元音源
   ノートブックを実行するだけで手軽に音源分離が可能
   

   View Slide

7. やってみた①：Demo編
   波形やメルスペクトログラムではどこで何が鳴っているのか不明
   元音源
   

   View Slide

8. やってみた①：分離結果
   Drums
   Vocal
   Bass
   Others
   各成分に音源分離できた！！
   

   View Slide

9. やってみた①：メルスペクトログラム分析
   Drums
   Vocal
   Bass
   Others
   ボーカル/ピアノ
   金物/倍音
   ベース/ドラム
   

   View Slide

10. やってみた②：バンド音楽編
    

    View Slide

11. 感想
    - 手軽に分離できるわりに結構綺麗に分離される
    - パートごとの楽曲構成を調べることもできそう
    - ボーカルなどは一部違和感のある箇所もあった
    - 正解データ作りもできそう…？
    - リード/バッキングは分けられない（主目的が…）
    - 音数が減った事自体で聞き取りやすくはなっている！
    - DemucsはVocal/Bass/Drums/Othersと分離できる構成が固定
    

    View Slide

12. ご清聴ありがとうございました！
    

    View Slide

13. Appendix
    

    View Slide

14. - https://github.com/facebookresearch/demucs
    - https://github.com/f90/Wave-U-Net
    参考
    

    View Slide