音楽生成AIを利活用した即興演奏の実践

第二回創作+機械学習LT会での発表スライドです。

Transcript

1. ⾳楽⽣成AIを利活⽤ した即興演奏の実践 brightwaltz 第2回創作＋機械学習LT会 2022/11/5
2. 【⾃⼰紹介】brightwaltz 【作曲】ピアノメインの曲を中⼼に作曲 【ライブ演奏】ジャズ・ポップス・クラシックの即興ピアノ独奏 本発表では、 ⾳楽⽣成AIを活⽤して「即興演奏」作品を作ってみたので、 クリエイター視点で各トライアルを紹介
3. 今⽇の流れ ▪ ⾳楽⽣成AIの例 ▪ 即興演奏への応⽤ – [実践] AIを使った即興演奏の紹介: Imaginary Soundscape, RAVE – [実践] 即興演奏を学習させて⾳楽⽣成: Dance Diffusion – [実演] リアルタイム演奏: Drumify ▪ おわりに
4. Qosmo, ⾳楽⽣成AIの現状と可能性 2022年度版 https://qosmo.jp/publication/musicai-whitepaper/ MIDI 波形 多様な⼊⼒ ⾳楽⽣成の例
5. Qosmo, ⾳楽⽣成AIの現状と可能性 2022年度版 https://qosmo.jp/publication/musicai-whitepaper/ MIDI 波形 MIDI ＜⾳楽⽣成の例＞ MIDIから⾃動⽣成 MusicVAEを使⽤したメロディのモーフィング MusicVAE ( magenta, Google ) https://magenta.tensorflow.org/music-vae
6. Qosmo, ⾳楽⽣成AIの現状と可能性 2022年度版 https://qosmo.jp/publication/musicai-whitepaper/ MIDI 波形 画像 ⼊⼒された画像に適切なサウンドクリップを⾒つけるSoundify Soundify: Matching Sound Effects to Video ( David Chuan-En Lin ) https://chuanenlin.com/soundify/ https://arxiv.org/abs/2112.09726 ＜⾳楽⽣成の例＞ Image to Sound
7. ＜⾳楽⽣成の例＞ Qosmo, ⾳楽⽣成AIの現状と可能性 2022年度版 https://qosmo.jp/publication/musicai-whitepaper/ MIDI 波形 多様な⼊⼒ Text to Music Image to Music ( by fffiloni ) a photo of bright sunny forest, humid, strong golden lighting, Nikon D4 and Nikon Lens 50mm F1.4 Image -> (CLIP) -> Text -> (Mubert) -> Music Text to Image (DALL·E) ( Mubert )
8. 即興演奏への応⽤ 1. ⽣成された⾳（リズム等）をベースに即興演奏 Imaginary Soundscapeで挑戦︕ 2. 即興演奏を学習させて⾳楽⽣成 Dance Diffusionで挑戦︕ 3. リアルタイム演奏 1. Drumify(Magenta)で実演︕（LT会後） 2. AI DJ プロジェクトを紹介 3. 簡単に即興演奏できるPiano Genieを紹介 AI ⼈ AI ⼈ AI ⼈
9. 即興演奏への応⽤ 1-1．Image to Music/Soundを使った即興演奏 ▪ Imaginary Soundscape（Qosmo） https://www.imaginarysoundscape.net イメージに合う画像を⽣成 → ⾳源⽣成 → ピアノ即興演奏 → 合成して 完成 by DALL·E a photo of bright sunny forest, humid, strong golden lighting, Nikon D4 and Nikon Lens 50mm F1.4
10. 即興演奏への応⽤ 2-1．即興演奏を学習させて⾳楽⽣成 Dance Diffusionで楽曲⽣成（HarmonAI, Stability.Ai） https://github.com/pollinations/dance-diffusion https://www.harmonai.org/ 学習元の即興演奏 （10分×4曲分） 学習結果 （step.191001）
11. 即興演奏への応⽤ 3.1インタラクティブなリズム⽣成器を使ってリアルタイム即興演奏 Drumify by magenta, Google with Ableton Live https://magenta.tensorflow.org/studio/ableton-live/
12. 作ってみた所感 ▪ AI先⾏、⼈間後攻 – 即興演奏の場合、メロディラインが分かるような⾳より 環境⾳のような”雰囲気”を表現した⾳は相性が良い – 表現したいイメージの種を「⾳」で作ってもらえるのは ありがたい ▪ ⼈間先⾏、AI後攻 – 雰囲気が近い楽曲はできそう – ただ、⼈間側は楽しいのだろうか
13. 即興演奏への応⽤＜紹介＞ 3-1．リアルタイム演奏︓AI DJ ▪ AI DJ プロジェクトにおけるAIと⼈間の即興演奏（徳井直⽣） AbletonLiveのプラグインとしてリズム⽣成モデル「 RhythmVAE_M4L」を公開 https://github.com/naotokui/RhythmVAE_M4L Rhythm ⽣成 Baseline ⽣成 Melody ⽣成 Mix
14. 即興演奏への応⽤＜紹介＞ 3-2．リアルタイム演奏︓ Piano Genie ▪ ピアノを即興演奏できるインターフェース – Piano Genie（Magenta, Google） Google Magenta Project https://magenta.tensorflow.org/pianogenie
15. おわりに ▪ ⾳楽⽣成AIを使って下記３パターンの即興演奏に挑戦 – [実践] AIを使った即興演奏の紹介: Imaginary Soundscape, RAVE – [実践] 即興演奏を学習させて⾳楽⽣成: Dance Diffusion ▪ 「MagentaのMUSIC TRANSFORMERのようなMIDI⽣成」 「Dance Diffusionのような波形⽣成」 どちらが発展するだろうか ▪ 作曲する⽴場としては、完成された楽曲の⽣成より、 「⼀部だけ⽣成」や「新たな発想を⽣む種のような⾳」がほしい ▪ 将来的にマルチモーダル⼊⼒による⾳楽⽣成とかもあり得るんだ ろうか
16. その他の⾳楽⽣成AI（サイトで試せます） ▪ Jukebox（OpenAI） – https://openai.com/blog/jukebox/ – https://jukebox.openai.com/?song=787770742 ▪ MuseNet (OpenAI) – https://openai.com/blog/musenet/ ▪ Lo-Fi Player (Google Magenta) – https://magenta.tensorflow.org/lofi-player ▪ MUSIC TRANSFORMER (Google Magenta) – https://magenta.tensorflow.org/music-transformer ▪ Text to Music (Mubert) – https://mubert.com – https://huggingface.co/spaces/Mubert/Text-to-Music ▪ Image to Music (Image -> (CLIP) -> Text -> (Mubert) -> Music ) – https://huggingface.co/spaces/fffiloni/img-to-music 他︓https://note.com/npaka/n/n48caad0f699f