旋律概形を軸にした音楽研究の試み

Slide 1

Slide 1 text

旋律概形を軸にした音楽研究の試み日本大学文理学部情報科学科北原鉄朗 Twitter: @tetsurokitahara 日本音楽知覚認知学会 2023年春季研究発表会

Slide 2

Slide 2 text

自己紹介 ● 札幌生まれ。現在、44歳 ● 小～中学時代： – 家にあったPCをいじる（当時、PCをいじる≒プログラミング） – 某音楽教室でピアノや作曲を学ぶ（中学からはDTMも） ● 高校時代： – バンド活動を始める – プログラミングも適当に手を出す ● 大学時代：進学のため柏に引っ越す – 情報科学科に入学し、プログラミングを本格的に学ぶ – バンド活動も本格的に行う – 4年生から、音楽情報処理の研究を始める ● 大学院時代：京都の大学院に進学 – 音楽情報処理の研究を本格展開 – バンド活動はほとんど休止 ● その後：関西の大学の研究員を経て、現在、東京在住

Slide 3

Slide 3 text

北原研究室 ● 2010年度に日本大学文理学部に設立 ● 合言葉：「Technology Makes Music More Fun」 ● 例年のメンバー構成： – 教員： 1名、臨時職員：数名 – M2： 0～2名、 M1： 0～2名 – B4： 6～8名、 B3： 6～8名 ● 学生自身の問題意識に従って、教員と2人3脚で研究テーマを設定 ● 積極的な情報発信： – 対外発表の義務化、卒業論文の公開、YouTube Liveでの配信、 – Zennでの技術系記事の執筆

Slide 4

Slide 4 text

本研究室で行ってきた研究テーマ（主なもの）音楽を聴く人を助けたい演奏する人を助けたい作曲する人を助けたい複数人が同じBGMを聴く場面の楽曲推薦ピアノ初見支援ベーシストの特徴分析ハモリ練習支援四声体和声生成 MIDIギター精度改善旋律概形による作曲カラオケを盛り上げるスマートタンバリン土台となる技術 HCI 音響信号処理機械学習 etc 歌う人を助けたい音痴な人の分析演奏時の筋活動分析ループシーケンサマッシュアップ支援イコライザー支援ベースライン生成即興演奏支援

Slide 5

Slide 5 text

研究の動機コンピュータの支援を受けながら、非専門家が音楽創作・即興演奏を楽しめる環境を作りたい特に、メロディ作成に着目ゆくゆくは… 熟達者非熟達者創造性創造性コンピュータが支援高いレベルのセッション対等な立場で（従来：高い方が低い方に合わせる）コンピュータによる支援非熟練者熟練者熟練者

Slide 6

Slide 6 text

メロディ作成（作曲）の過程音楽知識（和声、音階など）メロディのアイディア具体的な音符列聞いて確かめる完成ユーザとシステムが分担するシステムユーザユーザユーザシステム例1 例2

Slide 7

Slide 7 text

課題音楽の非専門家が、メロディをどのように捉えているのか個人的な考えドミソラレ旋律概形リズム（標本化）音階（量子化）

Slide 8

Slide 8 text

旋律概形とは ● メロディのおおまかな形を表す曲線 ● 個々の音符の情報は、隠されている ● 概形の分解能は可変輪郭（melodic contour）とどう違う？ ● 1音1音の上下動をとらえるとは限らない?

Slide 9

Slide 9 text

【研究事例①】旋律概形を用いたメロディ編集システム Tsuchiya & Kitahara, Sound Music Comput. Conf. 2013 土屋・北原，情報処理学会論文誌，2013 Tsuchiya & Kitahara, J. of Creative Music Syst., 2019

Slide 10

Slide 10 text

研究の動機自動作曲システムがメロディを作成メロディが部分的に気に食わない気に食わない箇所を編集したいシナリオどうするかメロディ旋律概形旋律概形’ メロディ’ フーリエ変換隠れマルコフモデルユーザ操作

Slide 11

Slide 11 text

旋律概形を用いたメロディ編集 ● ピアノロール上に旋律概形が表示 ● ユーザは、旋律概形を描き直すことができる ● すると、即座に新しいメロディができる

Slide 12

Slide 12 text

メロディからどうやって旋律概形を求めるかフーリエ変換逆フーリエ変換後で使う低次の要素を取り出すメロディの音高の系列旋律概形が得られる

Slide 13

Slide 13 text

旋律概形の抽出例分解能を変えた場合

Slide 14

Slide 14 text

編集した旋律概形をどうするのか元のメロディの高次のフーリエ係数低次のフーリエ係数フーリエ変換逆フーリエ変換 Do Mi Fa So Ti Ra So Do Re Mi Hidden Markov mode 編集した旋律概形

Slide 15

Slide 15 text

隠れマルコフモデル（HMM）の利用メロディを生成するときに使う HMMとは与えられたデータ（旋律概形）に対して、その背後の構造（メロディ）を確率的に推定 0 0.2 0.4 C D E F G A B 0 0.2 0.4 P(ni | n i-1 ) = P(ni ) P(|ni - ni-1 |) 遷移確率により、音楽的に妥当なメロディを出しやすくする

Slide 16

Slide 16 text

問題点 ● 旋律概形にてフレーズの切れ目を表現できない ● 旋律概形が循環している（末尾が先頭につながる） ● 歪んだ旋律概形をメロディに戻す処理がアドホック

Slide 17

Slide 17 text

【研究事例②】ウェーブレット変換を用いた旋律概形の抽出北原，人工知能学会全国大会，2015 北原，人工知能学会全国大会，2016 Kitahara & Matsubara, Workshop on Music & ML, 2016

Slide 18

Slide 18 text

離散ウェーブレット変換とは ● 信号 {x1 , ..., xN } を低域成分{c1 , ..., cN/2 } と高域成分{d1 , ..., dN/2 }に分離 ● 低域成分に対して再帰的に繰り返すことで、パラメータが二分木になる（多重解像度解析） ● 得られるパラメータや近似曲線は、用いるマザーウェーブレットに依存 Pitch trajectory ...

Slide 19

Slide 19 text

離散ウェーブレット変換による旋律概形の抽出 DWT IDWT ある深さ以上のノードを 0に置き換えて元に戻す Pitch trajectory -0.5 -2.5 2.5 -2.5 0.25 -0.125 7.5 2.5 7.5 ・・・・・・ 0.0 0.5 0.0 1.25 2.5 2.5 2.5 -2.5 0.25 -0.125 7.5 2.5 7.5 ・・・・・・ 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 Melodic outline

Slide 20

Slide 20 text

旋律概形の抽出：一例 ● 「ピアノソナタ K.331」第1楽章冒頭8小節の主旋律 ● マザーウェーブレットとして Daubechies 8を使用

Slide 21

Slide 21 text

音高の時系列旋律概形（Daubechies 8 wavelet の場合）

Slide 22

Slide 22 text

応用例：部分木間の距離を計算する二乗距離＝4.27 二乗距離＝326.63 二乗距離＝68.41 二乗距離＝0.78 二乗距離＝9.13

Slide 23

Slide 23 text

問題点 ● パラメータを二分木にすることで、新たな応用を実現した ● ただし、旋律概形に変換しないとできない処理かは微妙 ● フレーズの切れ目が表現できない問題は、未解決

Slide 24

Slide 24 text

【研究事例③】旋律概形を用いた即興演奏支援システム Kitahara, Giraldo & Ramirez, CMMR 2017 Kitahara & Yonamine, ACM Multimedia Asia 2022

Slide 25

Slide 25 text

研究の動機誰もが簡単な操作で即興演奏を楽しめるようにしたいユーザが旋律概形を画面に描いたら、メロディを奏でてくれるこの研究での旋律概形の位置づけ ● ユーザがゼロから画面上に描画する ● 旋律概形の抽出の定式化や自動化は行わない

Slide 26

Slide 26 text

即興演奏支援システム「JamSketch」旋律概形ユーザが描画: メロディシステムが生成: 直感的! 簡単に描ける!

Slide 27

Slide 27 text

学習の仕組みブルースのアドリブソロの採譜データ変換平滑化これを「旋律概形」とみなすニューラルネットで実現（CNN） Weimar Jazz DB

Slide 28

Slide 28 text

データセット Weimar Jazz Database からブルース96曲入力データ出力データ右のメロディの音高系列を平滑化して旋律概形を作成半分を学習に、残りをテストに使用

Slide 29

Slide 29 text

JamSketchの今後の展望 ● だんだん盛り上がるような展開にいかにするか – 現在は、１巡目、２巡目、３巡目…でメロディ生成に変化なし ● 旋律概形自体も、描くのは簡単じゃない – 「こんなメロディを作りたい」という気持ちをどう育てるか – これ自体が楽器だと思えば、これはこれでいい? ● 他者（人間、コンピュータ）とセッションできるようにするには – メロディ生成の相互作用をどう生むか

Slide 30

Slide 30 text

旋律概形に関する考察 ● そもそも「旋律概形」という考え方は正しいのか – 非専門家の音楽認知表現として – 非専門家のためのメロディ操作インタフェースとして ● 現状では、旋律の平滑化に過ぎない – 音脈分凝まで含めて扱うことができればホンモノに近づく? ● 音楽情報処理研究と音楽知覚認知研究の接点になりうる? – ただし、両者で向いてる方向は必ずしも一致しない

Slide 31

Slide 31 text

まとめ研究の動機非専門家が音楽創作や即興演奏を楽しめるようにしたい基本的アイディア旋律概形をメロディ操作インタフェースとする研究事例一緒に研究してくれる仲間、大募集!!! 大学院生などとして本研究に参画したい場合は、ぜひ連絡ください。メロディ編集 JamSketch ウェーブレット変換