DJプレイの自動化に係る研究の紹介と今後の展望

Transcript

1. DJプレイの自動化に係る研究の紹介と今後の展望 @Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser）
2. アジェンダ #muana 2 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） 自己紹介 DJとは 研究領域 研究紹介１ - 不快感を抑えるミックス 研究紹介２ - Music Mixer 実験 - Emotion Recognition DJ 今後の展望
3. 自己紹介 #muana 3 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | 高橋 達哉（@iwashi_ser） | 社会人大学院生 | パーソルプロセス＆テクノロジー株式会社 | データサイエンティスト | 国立がん研究センターにて論文解析，研究者ネットワーク解析 | 研究領域は音声感情認識 | 好きなアーティストはRadiohead, Erykah Badu, Robert Glasper
4. 4 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） 幕張メッセで行われたDIVE XR公演の様子 HUMANOID DJ | 副業で，人工知能DJプロジェクトのシステムを担当 | 現在はまだまだ機能不足で実験と改良を重ねている #muana
5. DJとは #muana 5 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | ポピュラー音楽をラジオ番組などで選曲、操作する、または演奏会場やクラブ、ソフトなどで再生機器で客に聴かせる人物[1] | DJの主なワークフローは下記の通り． プレイリスト作成 キュー打ち 再生開始 エフェクト等 次曲読み込み つなぎ（Mix）
6. DJとは - DJが自動化すると何が嬉しいのか #muana 6 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | 人間ではできなかったことが機械で可能になり，新しい体験を得ることができる | 24h連続再生や，オフィスや店舗などの場の雰囲気に合わせた選曲，ハンズフリーなパーソナライズされた選曲などが可能になる． Nデッキの同時プレイ 膨大な楽曲の探索 センシング連携 パーソナライズ強化 ハンズフリー
7. DJとは – いろんな人工知能DJ #muana 7 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | 人工知能DJは，世の中的にも実装が進んできている． Qosmo – AI DJ[3] バンダイナムコ研究所 – ミライ小町[4] カフェ・ド・クリエ グラン実証実験[5] Sensorium Corporation - JAI:N[6] USEN – U Music[7]
8. 研究領域 #muana 8 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | 厳密にカテゴリ化されてはいないが，DJのワークフローそれぞれに研究領域がある．MIR（Music Information Retrieval）の応用が多い． | インタラクション系の学会やジャーナルに多く掲載されている． プレイリスト作成 キュー打ち 再生開始 エフェクト等 次曲読み込み つなぎ（Mix） | DJがプレイするため の楽曲リストを生成 するための研究． | MixDB（過去のDJプ レイを記録したデー タベース）[2]をもと にプレイリストを作 成する研究など． | 楽曲のビートを，始 まりの拍にキューを 設定する（Mixing Point）とする研究な ど． | 楽曲のハイライト （もりあがりポイン ト）を検出する研究 もある． | シードトラック（最 初にかける曲）と， 最後にかける曲を選 ぶことにより，最初 から最後までをどの 楽曲でつなぐかを推 薦する研究など． | 主にテンポチェンジ に関わる研究． | テンポが違う曲を繋 ぐことは難しいが， 他方で，過度なテン ポ変更は元の楽曲の 特徴が大きく損なわ れる． | 予め決められたプレ イリストではなく， 再生中にユーザーの 情報を読み取り，次 にかける曲を動的に 変更することを目的 とした研究など． | キュー（Mixing Point），テンポチェ ンジ，よりよい切り 替え方（フェード） などの研究など．
9. 研究紹介１ - 不快感を抑えるミックス[8] #muana 9 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | Full-Automatic DJ Mixing System with Optimal Tempo Adjustment Based on Measurement Function of User Discomfort (2009) | ミックス時の’不快感’とはミックスの手法では無くテンポの過度な調整であることを主観実験により明らかにし，不快度関数を定義し，テンポを 過度に調整せずに自動でミックスする研究 概要 ミックス時のリスナーの不快感は，テンポの過度な調整であることを明らかにした．特にスピードダウン時に不快感が現れ やすかった．テンポの変更による不快度を関数として定義し，不快にならない範囲でクロスフェードして自動でミックスす るプロトタイプを作成し，過度な変更を加えるより提案手法の方が快適度が高いと言う結果になった． 新規性・差分 テンポ変更による不快度を定義したところ．既存手法でははどちらかの曲に寄せていたり，或いは全く寄せずにビートだけ 合わせたりしていた．また，倍テンポ，半テンポ時にもテンポを変更せずにビートを合わせることのできる関数を定義した． 手法 曲のテンポを変更した時の不快度を関数化し，ミックスする2曲のうち，テンポの遅い方をスピードアップ，テンポの早い方 をスピードダウンし，快適度が一番下がらない最適解をターゲットテンポとして，クロスフェードしてミックスする手法． 結果 強制的にテンポを変更する手法（naïve mixing）に比べ，提案手法の方が，ペアt検定において有意にユーザー評価が高いと 言う結果になった． 今後の課題 テンポはユーザーに不快を与える一要素でしかなく，テンポが不快を与えなくても，ミックスした曲をユーザーが受け入れ られない時もある．今後はテンポや拍位置以外の特徴を抽出して活用すると今後の展望を述べている．
10. 研究紹介２ - Music Mixer[9] #muana 10 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | Latent Topic Similarity for Music Retrieval and Its Application to a System That Supports DJ Performance(2018) | より良いミックスは何に基づいて行われるべきかという調査の結果，ビートの類似性，および音楽的な類似性が挙げられている．下記はその二 つに着目してmixability（すなわち類似度）を定義し，mixing pointを定義する研究[8]． 概要 これからかける曲のリストを用意し，最初の一曲を選ぶ．そうするとシステムがその曲の後半以降で5つのミキシングポイントと， そのポイントごとに次にかけるべき曲をサジェストする．ユーザーはサジェストされた曲から一つを選ぶことで次の曲に自動で ミックスされる．最適なミキシングポイントの検出には，曲のビート・音色の類似性をかけあわせたmixabilityのスコアの高さに よって行われる． 新規性・差分 曲の類似性について，chroma vectorを用いたトピックモデリングを行い，そのトピックの頻度の差を類似度として曲の潜在的な類 似度を測ったこと．chroma vectorが，曲の潜在的な意味を表現することに有効であることがHueら[2009]の研究によって行われて いる． 手法 曲のビートの類似性と，曲自体の類似性の２つを計算する手法を提案した．曲のビートの類似性では，曲自体にローパスフィル ターをかけて低音域を抽出し，ピークポイントをビートとした．類似性は，ビート間の距離の近さで測った．曲の類似性では，曲 を5秒ごとのfragmentに分割した上で，chroma vector（12音階のヒストグラムを，支配的な音の順にコードに変換したもの）に変 換し，それらを自然言語とみなしてトピックモデリングを行い，トピックの出現頻度の差を類似度とした．MusicMixerでは，曲を 任意の数のビートごとに区切りfragment化し，そのfragment同士のビート類似度，曲の類似度を計算してmixabilityのマトリクスを 作成する．ユーザーが最初の曲を選び，その曲の後半から，ミキシングポイントを5つ提案した．またmixabilityにはバイアスを設 定し，ユーザーのよいミックスか悪いミックスかという主観的なフィードバックにより，曲のミックスを最適化していく． 結果 曲の類似度について，主観実験により，一般的な類似度算出方であるMFCCや，生のchroma vectorよりも類似度を測るメトリクス として有意に有用であることが示されている（Scheffeの多重比較による心理尺度）[10]．できあがったシステムをワークショップ で披露した結果，概ね楽しんでいたが，説明がないと操作方法がわかりにくい，スクラッチやテンポのへんこうなどがあると魅力 的という反応があった． 今後の課題 音の類似性以外の要素（曲のダイナミクス，歌詞など）を考慮できていないので，それらを実装していく．
11. 実験 #muana 11 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | 感情フィードバックを用いたオンライン自動楽曲ミキシングシステム(2021) | ユーザーの表情から感情を認識し，その感情に合わせて楽曲類似度マトリクスのバイアスを更新し，次にミックスする曲を動的に変更する． SoundCloudからCCの楽曲を 5ジャンル*20曲，計100曲を収集 楽曲をメルスペクトログラムに変換し，ジャンル を予測するようにCNN分類器にかける． 最終層の出力を楽曲の特徴量として利用し，楽曲 間のコサイン類似度を曲の類似度とする． 特徴ベクトル 楽曲の類似度マトリクスを作る． 最初は同じジャンルの類似度が高い． バイアスマトリクスは，すべて0で 初期化する． YouTube Liveにて自動ミキシングを 被験者4人に対して実験．バイアス マトリクスを随時更新． 実験：被験者の感情フィードバック を得るために，webカメラをONにし てもらい，感情認識システムにて感 情を取得[10]． 更新後のバイアスマトリクス．特定 のジャンルの重みが高くなっている ことがわかる． ・バイアスマトリクスを更新しないパターンと，更新するパターン を聴取させて，体験がどのように変化するか，主観実験を行った． ・結果，ユーザー全員の感情が可視化されることでの一体感や，体 験としての新しさ，楽しさ，コメントやいいねボタンを押さなくて もよい（作業中でもフィードバックを送信できる）手軽さが評価さ れた． ・一方，楽曲が最適化されているかどうかは判断が難しかった． ユーザーの好みが分かれる場合に，多数決的に決めてよいのかとい う議論が残っている．
12. 実験 #muana 12 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser）
13. 今後の展望 #muana 13 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） | 人間の特性や，時々刻々と変化する体のコンディションや感情に合わせて最適な楽曲を選択してくれるAI DJや，リモート環 境でも現実と同等あるいは全く異なる新しい体験を提供してくれる未来のDJの形を検討する． | オフィスや店舗だけではなく，各家庭の場の雰囲気に合わせた選曲を行う，一家に一台，一人一台の専用DJ． | 各人が作ったDJたちによるバックトゥバックや，DJ Battleなど．
14. 参考文献 #muana 14 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） 1. https://ja.wikipedia.org/wiki/%E3%83%87%E3%82%A3%E3%82%B9%E3%82%AF%E3%82%B8%E3%83%A7%E3%83%83%E3%82%AD%E3%83%BC 2. https://bio.tools/mixdb 3. http://naotokui.net/2017/04/qosmo-ai-dj-ja/ 4. https://www.bandainamco-mirai.com/projects/banadive-ax.php 5. https://www.watch.impress.co.jp/docs/news/1289034.html 6. https://realsound.jp/tech/2020/12/post-681656.html 7. https://robotstart.info/2020/09/10/shop-smarter-usen-iot-platform.html 8. Ishizaki, Hiromi & Hoashi, Keiichiro & Takishima, Yasuhiro. (2009). Full-Automatic DJ Mixing System with Optimal Tempo Adjustment based on Measurement Function of User Discomfort.. 135-140. 9. Tatsunori Hirai, Hironori Doi, Shigeo Morishima, Latent Topic Similarity for Music Retrieval and Its Application to a System that Supports DJ Performance, Journal of Information Processing, 2018, Volume 26, Pages 276-284, Released March 15, 2018, Online ISSN 1882-6652 10. Khanal, S. R., Barroso, J. a., Lopes, N., Sampaio, J. and Filipe, V.: Performance Analysis of Microsoft’s and Google’s Emotion Recognition API Using PoseInvariant Faces, Proceedings of the 8th International Conference on Software Development and Technologies for Enhancing Accessibility and Fighting InfoExclusion, DSAI 2018, New York, NY, USA, Association for Computing Machinery, p. 172–178 (online), DOI: 10.1145/3218585.3224223 (2018).
15. Appendix – Chroma Vector #muana 15 DJプレイの自動化に係る研究の紹介と今後の展望@Music×Analytics Meetup Vol.4 高橋 達哉（@iwashi_ser） 引用：http://www.spcom.ecei.tohoku.ac.jp/~aito/soundmedia/music.pdf