バンド編曲に向けたギター音源からベース音源を生成するCNNモデル

2022年度卒業研究発表会、香西智雄

Transcript

1. バンド編曲に向けたギター音源から ベース音源を生成するCNNモデル 北原研 香西智雄
2. 背景  ギターリストの中にはギターで作曲を楽しむ人が居る。  だが、編曲するとなると、人と音楽知識を要する。  そこで知識いらずで自動バンド編曲してくれるシステムが あればいいな。 パソコンを通して、バンド編曲
3. 研究概要  今回は、ギターの音響信号から、ベースの音響信号の生成 を取り扱うことにする。 ベースonly 入力 出力 モデル
4. 特徴量 特徴量抽出 圧縮 フィルター層 逆フィルター層 復元 一致するよう学習する フーリエ変換 フーリエ変換 予測結果 CNN
5. データセット 実際のデータセット内の音源の楽譜 作成に用いたソフト Cakewalk By BandLab ビート 八分音符のみ BPM 120 小節数 4(8秒) 学習データ数 10曲 テストデータ数 11曲(1曲のみ、実演奏)
6. 実験目的・実験条件  特徴量抽出手法を変えて、設定した条件ごとの予測結果を 比較する。  評価基準  正解音源と予測音源の基本周波数の一致度合い(正解率) 。 特徴量抽出手法 1 短時間フーリエ変換(STFT) 2 メルスペクトログラム(Mel) 3 クロマグラム(Chorma) 条件 学習データ テストデータ 1 Cakewalk Cakewalk 2 Cakewalk Cakewalk(ローパスフィルタ適用) 3 Cakewalk 実演奏
7. 実験結果:条件1 STFT Mel Chroma 復元音源 正解率:0.70 復元音源 正解率:0.54 復元音源 正解率:0.79 入力データ guitar音源 bass音源 コード進行:AmFGC
8. 実験結果:条件2 STFT Mel Chroma 復元音源 正解率:0.29 復元音源 正解率:0.26 復元音源 正解率:0.58 入力データ guitar音源 bass音源 コード進行:A#CDmEm
9. 実験結果:条件3 STFT Mel Chroma 復元音源 正解率:0.20 復元音源 正解率:0.09 復元音源 正解率:0.35 入力データ guitar音源 bass音源 コード進行:CDEmAm
10. 結論  CNNでギター音響信号からベース音響信号の生成を行った。  最も精度の高いモデルは、クロマグラムだった。  考察  クロマグラムは和音分析に特化しているため、うまくいった。  音源がエフェクターなどに加工されるとうまくいかない可能 性がある。  今後の課題  データセットを増やして、精度に変化が生じるか。  特徴量抽出手法の設定条件を変更し、精度に変化が生じるか。