即興演奏をコンピュータが肩代わりする： 即興演奏支援の一研究事例

Transcript

1. 即興演奏をコンピュータが肩代わりする： 即興演奏支援の一研究事例 日本大学 文理学部 情報科学科 北原 鉄朗 Twitter: @tetsurokitahara
2. 本研究のゴール 誰もが即興演奏を楽しめるようにする 特に非音楽家（場合によっては高齢者や身障者を含む） Cmaj7 Am7 Chord progression Harmony theory Musical scale Music knowledge Do-Re-Mi Learned musical phrases Create a melody Play it
3. 技術的な課題 • 「こんな感じのメロディ」というあいまいな考えを あいまいなまま入力する方法 – 和声などの専門知識を必要としない • 「こんな感じのメロディ」というあいまいな入力から 音楽的に妥当なメロディを作る方法 – いわゆる自動メロディ生成
4. JamSketch： 旋律概形からのメロディ生成 旋律概形 ユーザが描画: メロディ システムが生成: 直感的! 簡単に描ける!
5. 学習の仕組み ブルースのアドリブソロの採譜データ 変換 平 滑 化 これを 「旋律概形」とみなす ニューラルネットで実現 （CNN） Weimar Jazz DB
6. なぜCNNなのか • 実装が楽 • メロディの持つ拍節構造を自然に表せる 畳み込み 畳み込み
7. 入力と出力 Input time 旋律概形 コード time 出力 入力 メロディ（音符）
8. メロディ用にどのようにフィルタを設計するか 音楽（ピアノロール）は、シフト不変ではない 音高軸 ハ長調では最も重要な音名 ハ長調では滅多に現れない 異なる音名には、 異なる役割がある 時間軸 強拍 弱拍 強拍と弱拍では、 音名出現の傾向が異なる
9. 畳み込みと逆畳み込みの流れ ch time conv. conv. time ch deconv. deconv. Pitch time pitch Pitch (cont) time ch フィルタサイズ 音高方向のシフトを防ぐ Melodic outline time pitch Chord progression フィルタサイズ 強拍と弱拍が入れ替わるのを防ぐ
10. データセット Weimar Jazz Database から得た 96個のブルーズのメロディ 入力データ 出力データ 右のメロディを平滑化して得た 旋律概形
11. デモ Colabでのデモ https://bit.ly/3zB2Tja Folder JamSketchのデモ（実演） コードはGitHubに （でもちょっと古い） Groovyにて実装
12. 現状の課題（≒今後の展望） • 制御性の向上 – 例： 同じ概形でもおとなしいメロディ、攻めたメロディ • リアルタイム性、ユーザ体験の向上 – より楽器を弾いてる感じを。旋律概形以外の入力UIの検討も • 人間とのセッション – 理想的にはリアルタイムにコードとビートを認識して旋律生成 演者と観客の隔たりのない全員参加型セッションへ
13. まとめ JamSketch: 旋律概形に基づく即興演奏支援システム 基本コンセプト マクロな構造はユーザが、ミクロはシステムが 利用技術 畳み込みニューラルネット（CNN） 『音楽情報処理』（コロナ社） 『音楽で身につける ディープラーニング』 （オーム社） 関連図書