[招待講演] JSAI2025 人と調和する音楽AI： 深層学習で実現する構成性と協調性を持つシステム

[招待講演] JSAI2025 OS-22 音楽認識・生成技術が紡ぎ出す未来の社会
ソニーコンピュータサイエンス研究所 Flow Machines Studio Tokyo
赤間健人
https://confit.atlas.jp/guide/event/jsai2025/subject/3O5-OS-22a-04/detail?lang=ja

Transcript

1. 2025/05/29 JSAI2025 OS-22 音楽認識・生成技術が紡ぎ出す未来の社会 ソニーコンピュータサイエンス研究所 Flow Machines Studio Tokyo プロジェクトリサーチャー 赤間健人 [招待講演] 人と調和する音楽AI： 深層学習で実現する構成性と協調性を持つシステム
2. 2 Music AIの今後：音楽の楽しみ方の変化 ⚫音楽をビジュアライズして楽しむようになる ⚫日々撮影する写真や動画にBGMがつき、映画のように記録 The images are generated by DALL-E
3. 3 Music AIの今後：音楽の楽しみ方の変化 ⚫編曲や作曲を気軽に ⚫自分の好きな曲の自動分析や解説 ⚫AIとセッション、AIからのレッスン The images are generated by DALL-E
4. 4 Music AIの今後：音楽の楽しみ方の変化 ⚫頭で想像した音楽を再生/生成 The images are generated by DALL-E
5. 5 Music AIの今後：音楽の使い方の変化 ⚫覚えたいことを歌詞にして歌で覚える暗記ツール ⚫小説、記事、チャット、プレゼンテーションなどを引き立てるBGM ⚫運動時に脈拍や動きに合わせた音楽 The images are generated by DALL-E 九九、歴史年号、英単語
6. 6 Music AIの今後：音楽そのものの変化 ⚫聴くたびに異なる表情を見せる「生きた音楽」 ✓未来のリスナーは変わらない録音音源に退屈し、演奏が毎回変化する楽曲を好むようになると指摘[1] ⚫音楽がその時々の我々の気持ちをコントロールするツール ✓ユーザーの脳波や生体信号を分析して心理状態を読み取り、音楽を推薦したりアレンジ The images are generated by DALL-E [1] 榎本幹朗 (2021). 音楽が未来を連れてくる 時代を創った音楽ビジネス百年の革新者たち DU BOOKS
7. 7 Music AIの今後：音楽創作やプロフェッショナルへの影響 ⚫音楽制作では、自分にとって価値の高い作業 や好きな作業に集中 ✓例：モチーフやリズム、歌詞作りに専念し、その他の 作業はAIが支援 ✓山口氏は、音楽のコンセプトづくりや評価ができる人 であれば、AIツールを使用することで専門的なスキル がなくても音楽を創作できる未来を述べている [2] The images are generated by DALL-E [2] 山口 哲一 (2024). AI時代の職業作曲家スタイル 逆張り のサバイバル戦略 リットーミュージック
8. 8 Music AIの今後：音楽創作やプロフェッショナルへの影響 ⚫一人の人が創作の幅を広げ、新たな感性によ る新しい芸術 ✓例：ミュージックビデオまで作成。ダンサーが音楽を 作る。 ⚫複雑な作業を隠蔽し、音楽制作ツールを直 感的で使いやすいUIへ進化 ✓例：audio編集やシンセサイザーのパラメータ設定 The images are generated by DALL-E （出典：THE FIRST TAKE YouTube公式チャンネル） 世界的大ヒット 音楽 x アニメｘダンス
9. 9 Music AIの今後：音楽創作やプロフェッショナルへの影響 ⚫新しい音楽ジャンルが生まれる ✓言語の壁を超える • 北米へ渡ったアフリカの人々がジャズやブルースを生 んだように、翻訳・作詞生成ツールを通じて多国籍 のクリエイターが言語を超えて理解し合い、新たな音 楽ジャンルが生まれる可能性 [2] ✓新しい楽器 • エレキギターやシンセサイザー等の新しい楽器がロッ クやヒップホップというジャンルを形作った • AI楽器・シンセにより新しい音楽ジャンルが生まれる 可能性 The images are generated by DALL-E [2] 山口 哲一 (2024). AI時代の職業作曲家スタイル 逆張り のサバイバル戦略 リットーミュージック
10. 10 Music AIの今後：音楽創作やプロフェッショナルへの影響 ⚫AIが膨大なデータや楽曲の構造、人々の反応を解析 ✓例：ヒットソングの解析やブレイクアーティストの予測 ⚫音楽業界全体の効率化 ✓例：著作権や原盤権の侵害検出、音楽のメタデータ付与や 整理、キュレーション The images are generated by DALL-E
11. 11 それらを実現するためのMusic AIのチャレンジは？ ⚫音楽とユーザーの理解！ ✓音楽を構成的に把握する（構成性） ✓ユーザーの意図を解釈し協調する（協調性) The images are generated by DALL-E
12. 12 構成性と協調性を持つ音楽AIシステム Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
13. 13 課題：汎化性能・分布外性能 教師あり学習のみだと一部の音楽でしか学習できない アプローチ ⚫教師なしの学習シグナルを用いる ⚫教師なしの問題設定に変換する ⚫教師付きのデータを作ってしまう
14. 14 課題：汎化性能・分布外性能 教師あり学習のみだと一部の音楽でしか学習できない アプローチ ⚫教師なしの学習シグナルを用いる ⚫教師なしの問題設定に変換する ⚫教師付きのデータを作ってしまう
15. 15 教師なしの問題設定に変換する Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
16. 16 Concatenative sampler Ours (CoSaRef) MIDI-DDSP [Wu+ 2022] 教師なしの問題設定に変換する ⚫CoSaRef: MIDI to Audio Synthesis ✓アノテーション・フリー: MIDI-audioペアデータ不要 ☺ ✓MIDI-DDSPを上回る音質・MIDI/音色正確性 ☺ ✓Oneshotサンプルで多様な音色指定 ☺ ✓人の音楽制作プロセスと合致 ☺ Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement, Osamu Take and Taketo Akama, arXiv 2024 Paper: https://arxiv.org/abs/2410.16785
17. 17 教師なしの問題設定に変換する Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement, Osamu Take and Taketo Akama, arXiv 2024 Paper: https://arxiv.org/abs/2410.16785
18. 18 ここに関係！
19. 19 課題：汎化性能・分布外性能 教師あり学習のみだと一部の音楽でしか学習できない アプローチ ⚫教師なしの学習シグナルを用いる ⚫教師なしの問題設定に変換する ⚫教師付きのデータを作ってしまう
20. 20 教師付きのデータを作ってしまう Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
21. 21 教師付きのデータを作ってしまう ⚫自動採譜(Audio to MIDI) ✓アノテーション・フリー: MIDI-audioペアデータ不要 ☺ ✓分布外性能において、 MIDI-audioペアデータを用いたSOTAモデルと同等 Annotation-free Automatic Music Transcription with Scalable Synthetic Data and Adversarial Domain Confusion, Gakusei Sato and Taketo Akama, ICME 2024 DEMO: https://complex-degree-f38.notion.site/Annotation-free-AMT-Demo-33db7972162846059c2118e3fbc9db75
22. 22 ⚫分布外性能において、 MIDI-audioペアデータを用いたSOTAモデルと同等 ✓緑：評価ドメインでラベルが使えない設定 ✓Real Data • a: real audioを使って学習 • b: real audio と MIDI annotationを使って学習 • c: bに加えて追加のreal audio と MIDI annotationを使って学習 教師付きのデータを作ってしまう Annotation-free Automatic Music Transcription with Scalable Synthetic Data and Adversarial Domain Confusion, Gakusei Sato and Taketo Akama, ICME 2024 DEMO: https://complex-degree-f38.notion.site/Annotation-free-AMT-Demo-33db7972162846059c2118e3fbc9db75 Ours & ablation SOTAモデル Synth dataで分布外 のデータセットを 補える！ Oursと同じアーキテク チャで、annotation使用
23. 23 ここに関係！
24. 24 課題：汎化性能・分布外性能 教師あり学習のみだと一部の音楽でしか学習できない アプローチ ⚫教師なしの学習シグナルを用いる ⚫教師なしの問題設定に変換する ⚫教師付きのデータを作ってしまう
25. 25 教師なしの学習シグナルを用いる Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
26. 26 ⚫生成モデルによる表現学習の活用 教師なしの学習シグナルを用いる Music Foundation Model as Generic Booster for Music Downstream Tasks, WeiHsiang Liao, Yuhta Takida, Yukara Ikemiya, Zhi Zhong, Chieh-Hsin Lai, Giorgio Fabbro, Kazuki Shimada, Keisuke Toyama, Kinwai Cheuk, Marco A. Martínez-Ramírez, Shusuke Takahashi, Stefan Uhlich, Taketo Akama, Woosung Choi, Yuichiro Koyama, Yuki Mitsufuji, TMLR 2025
27. 27 ⚫生成モデルSoniDoのアーキテクチャと特徴量 教師なしの学習シグナルを用いる Music Foundation Model as Generic Booster for Music Downstream Tasks, WeiHsiang Liao, Yuhta Takida, Yukara Ikemiya, Zhi Zhong, Chieh-Hsin Lai, Giorgio Fabbro, Kazuki Shimada, Keisuke Toyama, Kinwai Cheuk, Marco A. Martínez-Ramírez, Shusuke Takahashi, Stefan Uhlich, Taketo Akama, Woosung Choi, Yuichiro Koyama, Yuki Mitsufuji, TMLR 2025
28. 28 ⚫生成モデルによる表現学習の活用 教師なしの学習シグナルを用いる Music Foundation Model as Generic Booster for Music Downstream Tasks, WeiHsiang Liao, Yuhta Takida, Yukara Ikemiya, Zhi Zhong, Chieh-Hsin Lai, Giorgio Fabbro, Kazuki Shimada, Keisuke Toyama, Kinwai Cheuk, Marco A. Martínez-Ramírez, Shusuke Takahashi, Stefan Uhlich, Taketo Akama, Woosung Choi, Yuichiro Koyama, Yuki Mitsufuji, TMLR 2025
29. 29 (補足) 自動採譜におけるモデルアーキテクチャの工夫 Automatic Piano Transcription with Hierarchical Frequency-Time Transformer, Keisuke Toyama, Taketo Akama, Yukara Ikemiya, Yuhta Takida, Wei-Hsiang Liao, Yuki Mitsufuji、ISMIR2023 HPPNet [Wei+ 22]
30. 30 (補足) 自動採譜におけるモデルアーキテクチャの工夫 Automatic Piano Transcription with Hierarchical Frequency-Time Transformer, Keisuke Toyama, Taketo Akama, Yukara Ikemiya, Yuhta Takida, Wei-Hsiang Liao, Yuki Mitsufuji、ISMIR2023
31. 31 教師なしの学習シグナルを用いる Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
32. 32 教師なしの学習シグナルを用いる Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
33. 33 教師なしの学習シグナルを用いる ⚫音楽検索：自己教師あり距離学習 Auxiliary self-supervision to metric learning for music similarity-based retrieval and auto-tagging, Taketo Akama, Hiroaki Kitano, Katsuhiro Takematsu, Yasushi Miyajima, Natalia Polouliakh, PlosOne 2023
34. 34 教師なしの学習シグナルを用いる ⚫音楽検索：自己教師あり距離学習 Auxiliary self-supervision to metric learning for music similarity-based retrieval and auto-tagging, Taketo Akama, Hiroaki Kitano, Katsuhiro Takematsu, Yasushi Miyajima, Natalia Polouliakh, PlosOne 2023
35. 35 課題：汎化性能・分布外性能 教師あり学習のみだと一部の音楽でしか学習できない アプローチ ⚫教師なしの学習シグナルを用いる ⚫教師なしの問題設定に変換する ⚫教師付きのデータを作ってしまう
36. 36 こうした技術の製品化 Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
37. 37 こうした技術の製品化 Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
38. 38 Deep12: Music Analysis AI
40. 40 Sony music バーチャルアイドル照明演出に使用
41. 41 詳しくは取材記事をご覧ください https://cocotame.jp/series/039733/ https://cocotame.jp/series/039751/
42. 42 構成性と協調性を持つ音楽AIシステム Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
43. 43 下の階層の生成: MIDI & 音色 Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
44. 44 MIDI生成と制御性 ⚫音楽校正 RefinPaint モデル ✓インペインティングは直すべき場所を教えてくれない • RefinPaintは教えてくれる ☺ ✓直すべき場所のフィードバックの用途 • ユーザーの教育 • 自律的な改善 Music Proofreading with RefinPaint: Where and How to Modify Compositions given Context, Pedro Ramoneda, Martin Rocamora, and Taketo Akama, ISMIR 2024 DEMO: https://refinpaint.github.io/
45. 45 MIDI生成と制御性 ⚫音楽校正 RefinPaint モデル ✓インペインティングは直すべき場所を教えてくれない • RefinPaintは教えてくれる ☺ ✓生成データにより質の低い音楽をシミュレートし、教師データ不要 Music Proofreading with RefinPaint: Where and How to Modify Compositions given Context, Pedro Ramoneda, Martin Rocamora, and Taketo Akama, ISMIR 2024 DEMO: https://refinpaint.github.io/
46. 46 MIDI生成と制御性 ⚫音楽概念はsymbolic musicの関数で定義できるものがある ⚫関数を使うことで教師無しで音楽概念のdisentangleされた潜在空間をもつ生成モデル を学習 Controlling Symbolic Music Generation Based on Concept Learning from Domain Knowledge, Taketo Akama, ISMIR 2019
47. 47 MIDI生成と制御性 ⚫音楽概念はsymbolic musicの関数で定義できるものがある ⚫関数を使うことで教師無しで音楽概念のdisentangleされた潜在空間をもつ生成モデル を学習 Controlling Symbolic Music Generation Based on Concept Learning from Domain Knowledge, Taketo Akama, ISMIR 2019
48. 48 MIDI生成と制御性 ⚫音楽概念はsymbolic musicの関数で定義できるものがある ⚫関数を使うことで教師無しで音楽概念のdisentangleされた潜在空間をもつ生成モデル を学習 Controlling Symbolic Music Generation Based on Concept Learning from Domain Knowledge, Taketo Akama, ISMIR 2019
49. 49 同時期に報告された関連研究 Learning to Groove with Inverse Sequence Transformations, Jon Gillick, Adam Roberts, Jesse Engel, Douglas Eck, David Bamman, ICML 2019
50. 50 その後の研究 Music FaderNets: Controllable Music Generation Based On High-Level Features via Low-Level Feature Modelling, Hao Hao Tan and Dorien Herremans, ISMIR 2020 arousal rhythm note
51. 51 MIDI生成と制御性 ⚫２つのメロディ断片をつなげ、メロディアイデアを発展させるには？ ✓メロディ断片を変えずにつなぐ • インペインティング ✓メロディ断片がつながるように変換する • Connective Fusion Connective Fusion: Learning Transformational Joining of Sequences with Application to Melody Creation, Taketo Akama, ISMIR 2020
52. 52 MIDI生成と制御性 ⚫学習方法 ✓つなげたメロデイがリアルになるように、変換前後で類似度が高くなるように学習する Connective Fusion: Learning Transformational Joining of Sequences with Application to Melody Creation, Taketo Akama, ISMIR 2020
53. 53 MIDI生成と制御性 ⚫制御性のある教師無し生成モデル ✓潜在空間モデル：モーフィングやバリエーション生成 ✓インペイントモデル：部分再生成 ⚫両方の利点を持つモデルは作れるか？ A Contextual Latent Space Model: Subsequence Modulation in Melodic Sequence, Taketo Akama, ISMIR 2021 DEMO: https://contextual-latent-space-model.github. io/demo/
54. 54 MIDI生成と制御性 A Contextual Latent Space Model: Subsequence Modulation in Melodic Sequence, Taketo Akama, ISMIR 2021 DEMO: https://contextual-latent-space-model.github. io/demo/
55. 55 MIDI生成と制御性 ⚫表現力が高く安定して学習できるプライ ヤーモデル ✓Normalizing Flow ⚫Global潜在ベクトルを持つ Transformer VAE ✓RNNで集約 ✓BERTのように集約する方法もある ⚫インペインティング用のアテンションマスク デザイン A Contextual Latent Space Model: Subsequence Modulation in Melodic Sequence, Taketo Akama, ISMIR 2021 DEMO: https://contextual-latent-space-model.github. io/demo/ https://aditi-mittal.medium.com/understanding-rnn- and-lstm-f7cdf6dfc14e [Devlin+ 19]
56. 56 ここに関係！
57. 57 構成性と協調性を持つ音楽AIシステム Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
58. 58 下の階層の生成: MIDI & 音色 Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation Music Components MIDI Timbre Lyrics ・・・
59. 59 音色生成：ニューラル・シンセサイザー ⚫GANStrument ✓エンコーダで入力音色を抽出する条件付きGAN • ユーザー入力音の音色を抽出し、モーフィングして新しい 楽器音を作る ✓GANインバージョン手法を上回る性能 GANStrument: Adversarial Instrument Sound Synthesis with Pitch-invariant Instance Conditioning, Gaku Narita, Junichi Shimizu, and Taketo Akama, ICASSP 2023
60. 60 音色生成：ニューラル・シンセサイザー GANStrument: Adversarial Instrument Sound Synthesis with Pitch-invariant Instance Conditioning, Gaku Narita, Junichi Shimizu, and Taketo Akama, ICASSP 2023
61. 61 音色生成：ニューラル・シンセサイザー GANStrument: Adversarial Instrument Sound Synthesis with Pitch-invariant Instance Conditioning, Gaku Narita, Junichi Shimizu, and Taketo Akama, ICASSP 2023
62. 62 GANStrumentをFlow Machinesアプリで(無料) https://www.youtube.com/watch?v=jz4KECx3lPk
63. 63 音色生成：ニューラル・シンセサイザー ⚫HyperGANStrument ✓「再構成 vs インターポレーション」のトレードオフの改善 ✓ピッチ不変なハイパーネットワークを提案 HyperGANStrument: Instrument Sound Synthesis and Editing with Pitch-Invariant Hypernetworks, Zhe Zhang and Taketo Akama, ICASSP2024 DEMO: https://lukibibi.notion.site/Demo-Page-for-HyperGANStrument-b7cf7b02ddfd4831ac8c64e9e246642b
64. 64 ここに関係！
65. 65 構成性と協調性を持つ音楽AIシステム Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation, Analysis Music Components MIDI Timbre Lyrics ・・・
66. 66 構成性と協調性を持つ音楽AIシステム Generation Analysis Generation Music Music Library Brain & Body Signal Retrieval Generation, Analysis Music Components MIDI Timbre Lyrics ・・・
67. 67 脳波からの音楽生成 ⚫一般の音楽を非侵襲のEEGから再構成 ⚫人手の前処理が不要 Reconstructed with our model Ground Truth Naturalistic Music Decoding from EEG Data via Latent Diffusion Models, Emilian Postolache, Natalia Polouliakh, Hiroaki Kitano, Akima Connelly, Emanuele Rodolà, Luca Cosmo, and Taketo Akama, ICASSP 2025 DEMO: https://emilianpostolache.com/brainwave/
68. 68 脳波からの音楽生成 ⚫一般の音楽を非侵襲のEEGから再構成 ⚫人手の前処理が不要 Naturalistic Music Decoding from EEG Data via Latent Diffusion Models, Emilian Postolache, Natalia Polouliakh, Hiroaki Kitano, Akima Connelly, Emanuele Rodolà, Luca Cosmo, and Taketo Akama, ICASSP 2025 DEMO: https://emilianpostolache.com/brainwave/
69. 69 脳波表現学習 Predicting Artificial Neural Network Representations to Learn Recognition Model for Music Identification from Brain Recordings, Taketo Akama, Zhuohao Zhang, Pengcheng Li, Kotaro Hongo, Shun Minamikawa, Natalia Polouliakh, Scientific Reports, to appear, 2025 ⚫大脳皮質と人工ニューラルネット(ANN)の表現の類似性が報告されている ⚫ANN表現を予測することで、脳波の表現を学習するフレームワークを提案 Paper: https://arxiv.org/abs/2412.15560 Millet et al. Toward a realistic model of speech processing in the brain with self-supervised learning, NeurIPS, 2022
70. 70 脳波表現学習 Predicting Artificial Neural Network Representations to Learn Recognition Model for Music Identification from Brain Recordings, Taketo Akama, Zhuohao Zhang, Pengcheng Li, Kotaro Hongo, Shun Minamikawa, Natalia Polouliakh, Scientific Reports, to appear, 2025 ⚫大脳皮質と人工ニューラルネット(ANN)の表現の類似性が報告されている ⚫ANN表現を予測することで、脳波の表現を学習するフレームワークを提案 Paper: https://arxiv.org/abs/2412.15560
71. 71 脳波表現学習 Predicting Artificial Neural Network Representations to Learn Recognition Model for Music Identification from Brain Recordings, Taketo Akama, Zhuohao Zhang, Pengcheng Li, Kotaro Hongo, Shun Minamikawa, Natalia Polouliakh, Scientific Reports, to appear, 2025 ⚫大脳皮質と人工ニューラルネット(ANN)の表現の類似性が報告されている ⚫ANN表現を予測することで、脳波の表現を学習するフレームワークを提案 Paper: https://arxiv.org/abs/2412.15560
72. 72 ここに関係！
73. 73 Dance-to-Music プロジェクト ⚫アーティストとサイエンティストのコラボ ✓「動きが音楽を作る」というダンスと音楽の逆の関係性の共創
74. 74 ここに関係！
75. 75 Interested? Please join us! ⚫Positions ✓Research Assistant Students ✓Part-time/Full-time ⚫Flexible working hours/days ⚫Remote work is possible
76. SONY CSLは株式会社ソニーコンピュータサイエンス研究所の商標です。