即興演奏システム JamSketch の社会応用の可能性

日本音楽即興学会第15回学術大会

Transcript

1. 即興演奏システム JamSketch の 社会応用の可能性 日本大学 文理学部 情報科学科 北原 鉄朗 Twitter: @tetsurokitahara 日本音楽即興学会 第15回学術大会
2. 自己紹介 • 名前： 北原 鉄朗 • 所属： 日本大学 文理学部 情報科学科 • 専門： 音楽情報処理 （作曲・編曲支援、音楽分析など） • 主戦場： 情報処理学会 音楽情報科学研究会（SIGMUS） • 研究室の標語： Technology Makes Music More Fun • 音楽情報処理に特化した国内有数の研究室の1つ
3. 本研究室で行ってきた研究テーマ（主なもの） 音楽を聴く人を助けたい 演奏する人を助けたい 作曲する人を助けたい 複数人が同じBGMを 聴く場面の楽曲推薦 ピアノ初見支援 ベーシストの 特徴分析 ハモリ練習支援 四声体和声生成 MIDIギター精度改善 旋律概形による作曲 カラオケを盛り上げる スマートタンバリン 土台となる技術 HCI 音響信号処理 機械学習 etc 歌う人を助けたい 音痴な人の分析 演奏時の筋活動分析 ループシーケンサ マッシュアップ支援 イコライザー支援 ベースライン生成 即興演奏支援
4. 本研究の長期的目標 コンピュータの支援を受けながら、 非専門家が音楽創作・即興演奏を楽しめる環境を作りたい ゆくゆくは… 熟達者 非熟達者 創造性 創造性 コンピュータ が支援 高いレベルの セッション 対等な立場で （従来：高い方が 低い方に合わせる） コンピュータ による支援 非熟練者 熟練者 熟練者
5. なぜ即興演奏が難しいのか 和声、スケールなどの知識をもとに、 その場でメロディを作って、その場で弾かなければならない Cmaj7 Am7 Chord progression Harmony theory Musical scale Music knowledge Do-Re-Mi Learned musical phrases Create a melody Play it
6. 本研究のアプローチと課題 専門知識がなくても、「こんな感じのメロディ」というあいまいな 情報をコンピュータに入れれば、即興演奏ができるシステムを作る 課題 • 「こんな感じのメロディ」というあいまいな考えを あいまいなまま入力する方法 • 「こんな感じのメロディ」というあいまいな入力から 音楽的に妥当なメロディを作る方法
7. JamSketch： 旋律概形からのメロディ生成 旋律概形 ユーザが描画: メロディ システムが生成: 直感的! 簡単に描ける! メロディのおおまかな アイディアのみ入力してもらう 具体的な音符列は、 コンピュータが作る
8. 学習の仕組み ブルースのアドリブソロの採譜データ 変換 平 滑 化 これを 「旋律概形」とみなす ニューラルネットで実現 （CNN） Weimar Jazz DB
9. 社会応用の可能性 ① 教育への応用 小中学校の音楽教育における音楽表現の探求など ② 福祉への応用 身体（特に四肢）が不自由な人への即興演奏手段の提供など ③ 観客参加型セッションへの応用 “ソロ回し”に観客も参加するシームレスなセッション
10. ① 教育の応用 小中学校の音楽教育の現場で、 メロディ表現の探求のツールとして使えないか 狙い JamSketchは、音楽知識・演奏技能なしにメロディの試行錯誤可能 自らの発想でいろいろなメロディを試すことで、 メロディ作成への興味を引き出し、メロディへの理解につなげる
11. • （最初のうちは）どんな旋律概形を 描いていいか分からない – 既存のメロディをガイド表示 → ガイドをなぞるところから始め、 　 徐々に逸脱を促す • 画面が地味（横軸と縦軸があって、理系っぽい） – より直感的な画面、より子供の興味を引き付ける画面 システムに対する課題 ガイド付きモード
12. • そもそも JamSketch でメロディの試行錯誤をすることで、 メロディの何を理解できるのか – メロディらしさを生む音符列の特徴を理解させたいなら、 メロディらしさがどうやったら生まれるかの試行錯誤が必要 – でも、メロディらしさって何? • そもそも JamSketch で即興演奏（もどき）を楽しむことは、 小中学校の音楽教育の目標と合致するのか 研究アプローチに対する課題・問題点
13. ② 福祉への応用 何らかの事情で四肢が使えなくなった人に 即興演奏の手段を提供できないか 狙い 旋律概形は、画面上の座標を連続的に指定できれば入力できる 近年、アイトラッカー（視線追跡器）の低価格化が進行 画面上の視線を動かすだけで即興演奏を可能にする
14. • 市販のアイトラッカーで接続し、視線で旋律概形を描画して 即興演奏できる「JamSketch Eye」を試作 現状 SteelSeries Sentry Gaming Eye Tracker （TobiiからのOEM）を使用 JamSketch Eye Demo
15. • アイトラッカーの動作安定性の問題 – ハードウェアの技術進展で解決することを期待 • 視線座標情報のゆらぎの問題 – 座標情報の平滑化を導入、ユーザの慣れも必要 システムに対する課題 研究アプローチに対する課題・問題点 • 対象ユーザに該当する方とのコネクション – 当該者がかかえる課題を知るには不可欠
16. ③ 観客参加型セッションへの応用 “ソロ回し”に観客も参加する 演者と観客の垣根のないセッションを実現できないか 狙い ジャムセッションには、“ソロ回し”という習慣がある JamSketch を複数人対応 & スマートフォン対応すれば 観客にもソロが回ってきて、観客はJamSketchで演奏
17. たとえばこんな感じ ステージ上の演者は 通常の楽器で演奏 観客はスマートフォンを 持ちながら参加 （専用アプリを事前に インストールしておく） ソロ回しの途中で、 ランダムに観客が選ばれる 選ばれた人は、JamSketchアプリで演奏 選ばれた人のスマートフォンが光る 選ばれた人がJamSketchで 即興演奏する
18. • ネットワーク対応 • スマートフォン対応 • ステージ上の生演奏とのリズム同期 技術的課題 目標 • 来年の音楽即興学会でライブパフォーマンス
19. まとめ JamSketch: 旋律概形に基づく即興演奏支援システム 社会応用の可能性 ① 教育への応用 ② 福祉への応用 ③ 観客参加型セッションへの応用 一緒に研究してくれる仲間、大募集!!!