旋律概形を軸にした音楽研究の試み

日本音楽知覚認知学会 2023年春季研究発表会にて講演した内容です。

Transcript

1. 旋律概形を軸にした音楽研究の試み 日本大学 文理学部 情報科学科 北原 鉄朗 Twitter: @tetsurokitahara 日本音楽知覚認知学会 2023年春季研究発表会
2. 自己紹介 • 札幌生まれ。現在、44歳 • 小～中学時代： – 家にあったPCをいじる （当時、PCをいじる≒プログラミング） – 某音楽教室でピアノや作曲を学ぶ （中学からはDTMも） • 高校時代： – バンド活動を始める – プログラミングも適当に手を出す • 大学時代： 進学のため柏に引っ越す – 情報科学科に入学し、プログラミング を本格的に学ぶ – バンド活動も本格的に行う – 4年生から、音楽情報処理の研究を 始める • 大学院時代： 京都の大学院に進学 – 音楽情報処理の研究を本格展開 – バンド活動はほとんど休止 • その後： 関西の大学の研究員を経て、 現在、東京在住
3. 北原研究室 • 2010年度に日本大学文理学部に設立 • 合言葉：「Technology Makes Music More Fun」 • 例年のメンバー構成： – 教員： 1名、 臨時職員：数名 – M2： 0～2名、 M1： 0～2名 – B4： 6～8名、 B3： 6～8名 • 学生自身の問題意識に従って、教員と2人3脚で研究テーマを設定 • 積極的な情報発信： – 対外発表の義務化、卒業論文の公開、YouTube Liveでの配信、 – Zennでの技術系記事の執筆
4. 本研究室で行ってきた研究テーマ（主なもの） 音楽を聴く人を助けたい 演奏する人を助けたい 作曲する人を助けたい 複数人が同じBGMを 聴く場面の楽曲推薦 ピアノ初見支援 ベーシストの 特徴分析 ハモリ練習支援 四声体和声生成 MIDIギター精度改善 旋律概形による作曲 カラオケを盛り上げる スマートタンバリン 土台となる技術 HCI 音響信号処理 機械学習 etc 歌う人を助けたい 音痴な人の分析 演奏時の筋活動分析 ループシーケンサ マッシュアップ支援 イコライザー支援 ベースライン生成 即興演奏支援
5. 研究の動機 コンピュータの支援を受けながら、 非専門家が音楽創作・即興演奏を楽しめる環境を作りたい 特に、メロディ作成に着目 ゆくゆくは… 熟達者 非熟達者 創造性 創造性 コンピュータ が支援 高いレベルの セッション 対等な立場で （従来：高い方が 低い方に合わせる） コンピュータ による支援 非熟練者 熟練者 熟練者
6. メロディ作成（作曲）の過程 音楽知識 （和声、音階など） メロディの アイディア 具体的な音符列 聞いて確かめる 完成 ユーザとシステムが分担する システム ユーザ ユーザ ユーザ システム 例1 例2
7. 課題 音楽の非専門家が、メロディをどのように捉えているのか 個人的な考え ド ミ ソ ラ レ 旋律概形 リズム（標本化） 音 階 （ 量 子 化 ）
8. 旋律概形とは • メロディのおおまかな形を表す曲線 • 個々の音符の情報は、隠されている • 概形の分解能は可変 輪郭 （melodic contour）とどう違う？ • 1音1音の上下動をとらえるとは限らない?
9. 【研究事例①】 旋律概形を用いたメロディ編集システム Tsuchiya & Kitahara, Sound Music Comput. Conf. 2013 土屋・北原，情報処理学会論文誌，2013 Tsuchiya & Kitahara, J. of Creative Music Syst., 2019
10. 研究の動機 自動作曲システムが メロディを作成 メロディが部分的に 気に食わない 気に食わない箇所を 編集したい シナリオ どうするか メロディ 旋律概形 旋律概形’ メロディ’ フーリエ変換 隠れマルコフモデル ユーザ操作
11. 旋律概形を用いたメロディ編集 • ピアノロール上に 旋律概形が表示 • ユーザは、旋律概形を 描き直すことができる • すると、即座に新しい メロディができる
12. メロディからどうやって旋律概形を求めるか フーリエ変換 逆フーリエ変換 後で使う 低次の要素を 取り出す メロディの 音高の系列 旋律概形が得られる
13. 旋律概形の抽出例 分解能を変えた場合
14. 編集した旋律概形をどうするのか 元のメロディの 高次のフーリエ係数 低次のフーリエ係数 フーリエ変換 逆フーリエ変換 Do Mi Fa So Ti Ra So Do Re Mi Hidden Markov mode 編集した旋律概形
15. 隠れマルコフモデル（HMM）の利用 メロディを生成するときに使う HMMとは 与えられたデータ（旋律概形）に対して、 その背後の構造（メロディ）を確率的に推定 0 0.2 0.4 C D E F G A B 0 0.2 0.4 P(ni | n i-1 ) = P(ni ) P(|ni - ni-1 |) 遷移確率により、音楽的に妥当なメロディを出しやすくする
16. 問題点 • 旋律概形にてフレーズの切れ目を表現できない • 旋律概形が循環している（末尾が先頭につながる） • 歪んだ旋律概形をメロディに戻す処理がアドホック
17. 【研究事例②】 ウェーブレット変換を用いた旋律概形の抽出 北原，人工知能学会全国大会，2015 北原，人工知能学会全国大会，2016 Kitahara & Matsubara, Workshop on Music & ML, 2016
18. 離散ウェーブレット変換とは • 信号 {x1 , ..., xN } を 低域成分{c1 , ..., cN/2 } と高域成分{d1 , ..., dN/2 }に分離 • 低域成分に対して再帰的に繰り返す ことで、パラメータが二分木になる （多重解像度解析） • 得られるパラメータや近似曲線は、 用いるマザーウェーブレットに依存 Pitch trajectory ...
19. 離散ウェーブレット変換による旋律概形の抽出 DWT IDWT ある深さ以上のノードを 0に置き換えて元に戻す Pitch trajectory -0.5 -2.5 2.5 -2.5 0.25 -0.125 7.5 2.5 7.5 ・・・・・・ 0.0 0.5 0.0 1.25 2.5 2.5 2.5 -2.5 0.25 -0.125 7.5 2.5 7.5 ・・・・・・ 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 Melodic outline
20. 旋律概形の抽出：一例 • 「ピアノソナタ K.331」第1楽章 冒頭8小節の主旋律 • マザーウェーブレットとして Daubechies 8を使用
21. 音高の時系列 旋律概形（Daubechies 8 wavelet の場合）
22. 応用例：部分木間の距離を計算する 二乗距離＝4.27 二乗距離＝326.63 二乗距離＝68.41 二乗距離＝0.78 二乗距離＝9.13
23. 問題点 • パラメータを二分木にすることで、新たな応用を実現した • ただし、旋律概形に変換しないとできない処理かは微妙 • フレーズの切れ目が表現できない問題は、未解決
24. 【研究事例③】 旋律概形を用いた即興演奏支援システム Kitahara, Giraldo & Ramirez, CMMR 2017 Kitahara & Yonamine, ACM Multimedia Asia 2022
25. 研究の動機 誰もが簡単な操作で即興演奏を楽しめるようにしたい ユーザが旋律概形を画面に描いたら、メロディを奏でてくれる この研究での旋律概形の位置づけ • ユーザがゼロから画面上に描画する • 旋律概形の抽出の定式化や自動化は行わない
26. 即興演奏支援システム「JamSketch」 旋律概形 ユーザが描画: メロディ システムが生成: 直感的! 簡単に描ける!
27. 学習の仕組み ブルースのアドリブソロの採譜データ 変換 平 滑 化 これを 「旋律概形」とみなす ニューラルネットで実現 （CNN） Weimar Jazz DB
28. データセット Weimar Jazz Database から ブルース96曲 入力データ 出力データ 右のメロディの音高系列を 平滑化して旋律概形を作成 半分を学習に、 残りをテストに使用
29. JamSketchの今後の展望 • だんだん盛り上がるような展開にいかにするか – 現在は、１巡目、２巡目、３巡目…でメロディ生成に変化なし • 旋律概形自体も、描くのは簡単じゃない – 「こんなメロディを作りたい」という気持ちをどう育てるか – これ自体が楽器だと思えば、これはこれでいい? • 他者（人間、コンピュータ）とセッションできるようにするには – メロディ生成の相互作用をどう生むか
30. 旋律概形に関する考察 • そもそも「旋律概形」という考え方は正しいのか – 非専門家の音楽認知表現として – 非専門家のためのメロディ操作インタフェースとして • 現状では、旋律の平滑化に過ぎない – 音脈分凝まで含めて扱うことができればホンモノに近づく? • 音楽情報処理研究と音楽知覚認知研究の接点になりうる? – ただし、両者で向いてる方向は必ずしも一致しない
31. まとめ 研究の 動機 非専門家が音楽創作や即興演奏を楽しめるようにしたい 基本的 アイディア 旋律概形をメロディ操作インタフェースとする 研究事例 一緒に研究してくれる仲間、大募集!!! 大学院生などとして本研究に参画したい場合は、 ぜひ連絡ください。 メロディ編集 JamSketch ウェーブレット変換