AI が奏でる新たな音楽体験 ~生成AIで音楽を作って楽しもう~

Demo 動画１
https://youtu.be/TH4KRCcp3R0

Demo 動画２
https://youtu.be/arKOC_S4rds

Transcript

1. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AI が奏でる新たな⾳楽体験 〜⽣成 AI で⾳楽を作って楽しもう〜 Takayuki Shimizu M I N I S E S S I O N Amazon Web Services Japan G.K. Senior Manager, Solutions Architect
2. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾃⼰紹介 清⽔ 崇之 ソリューションアーキテクト @shimy_net モノづくり AWS 公式ウェブマガジン builders.flash 「変⾝ベルト」を機械学習で作ってみた https://aws.amazon.com/jp/builders- flash/202108/ml-henshin-belt/
3. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾳楽と機械の歴史 引用: Research in Music and Artificial Intelligence / MIT Computing Surveys, Vol. 17, No. 2, June 1985 • 紀元前 2 世紀には⾳楽オートマタが存在 • 13 世紀にオランダで機械式の鐘が作られる § 回転シリンダの⽳に⽊材を差し込みプログラミング • 16 世紀にダ・ヴィンチがスピネットとドラムセットを制作 • 20 世紀初頭 (1910年) まで多くの⾳楽オートマタが作られる • それ以降はエジソンとベルリナーにより電気録⾳式が主流に 紙カード式の⾳楽オートマの例
4. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾳楽の制作⼯程と AI の活⽤ 作詞・作曲 編曲・プログラミング レコーディング・編集 マスタリング ミックス ・メロディ ・コード進⾏ ・全体構成 ・リズム、パターン ・各パート構成 ・サンプリング ・MIDI, シーケンス ・サウンドデザイン ・歌声、楽器演奏 ・ノイズ除去 ・ピッチ補正 ・タイミング補正 ・各パート⾳量調整 ・オートメーション ・エフェクト ・サウンドデザイン ・⾳量・⾳圧調整 ・エフェクト ・サウンドデザイン
5. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾳楽の制作⼯程と AI の活⽤ 作詞・作曲 編曲・プログラミング レコーディング・編集 マスタリング ミックス ・メロディ ・コード進⾏ ・全体構成 ・リズム、パターン ・各パート構成 ・サンプリング ・MIDI, シーケンス ・サウンドデザイン ・歌声、楽器演奏 ・ノイズ除去 ・ピッチ補正 ・タイミング補正 ・各パート⾳量調整 ・オートメーション ・エフェクト ・サウンドデザイン ・⾳量・⾳圧調整 ・エフェクト ・サウンドデザイン ⾳楽⽣成モデルの出現 ⽣成 AI による楽曲の制作が現実的になってき た ⾳楽⽣成モデルの出現 ⽣成 AI による楽曲の制作が現実的に
6. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾳楽⽣成モデルのタイムラインと階層分類 引用: A Survey of AI Music Generation Tools and Models / Yueyue Zhu, Jared Baca, Banafsheh Rekabdar. Reza Rawassizadeh / August 28, 2023 ⾳楽⽣成モデルのタイムライン ⾳楽⽣成モデルの階層分類
7. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AudioCraft by Meta AI について MusicGen 圧縮された離散的な⾳楽表現（トークン） のストリーム上で動作する単⼀の⾃⼰回帰 ⾔語モデル（LM）で構成。トークンの並列 ストリームの内部構造を利⽤するシンプル なアプローチを導⼊し、単⼀のモデルとエ レガントなトークンのインターリーブパ ターンにより、オーディオシーケンスを効 率的にモデル化し、同時にオーディオの⻑ 期的な依存関係を捕捉し、⾼品質なオー ディオを⽣成できる。 引⽤: https://audiocraft.metademolab.com/
8. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker で Text to Music Amazon SageMaker ⾳楽 テキスト An upbeat, melodic, and nostalgic 1980s- inspired dance track.
9. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ AWS Cloud Users AWS Lambda Amazon SageMaker Amazon S3 Amazon API Gateway Amazon DynamoDB Amazon Bedrock Amazon Bedrock ③ ファイルを保存 ② ⾳楽・画像を⽣成 ① プロンプトを⽣成
10. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ AWS Cloud Users AWS Lambda Amazon SageMaker Amazon S3 Amazon API Gateway Amazon DynamoDB Amazon Bedrock Amazon Bedrock ③ ファイルを保存 ② ⾳楽・画像を⽣成 ① プロンプトを⽣成 ① プロンプトを⽣成 Amazon Bedrock (Anthropic / Cloude 3) が ユーザーから⼊⼒されたキーワードをもとに ⾳楽・画像の⽣成に⽤いるプロンプトを⽣成し ます。 ”Generate an upbeat, melodic, and nostalgic 1980s- inspired dance track with a BPM of 120. Incorporate classic analog synthesizer sounds, a driving four-on- the-floor drum pattern, and evoke a sense of joy and nostalgia...”
11. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ AWS Cloud Users AWS Lambda Amazon SageMaker Amazon S3 Amazon API Gateway Amazon DynamoDB Amazon Bedrock Amazon Bedrock ③ ファイルを保存 ② ⾳楽・画像を⽣成 ① プロンプトを⽣成 ② ⾳楽・画像を⽣成 Amazon SageMaker (meta / AudioCraft) がプロンプトをも とに⾳楽を⽣成します。 Amazon Bedrock (Stability AI / Stable Diffusion SDXL 1.0) がプロンプトをもとに画像を⽣ 成します。
12. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ AWS Cloud Users AWS Lambda Amazon SageMaker Amazon S3 Amazon API Gateway Amazon DynamoDB Amazon Bedrock Amazon Bedrock ③ ファイルを保存 ② ⾳楽・画像を⽣成 ① プロンプトを⽣成 ③ ファイルを保存 Amazon S3 が⾳楽・画像のファイルを保存し ます。 Amazon DynamoDB が⾳楽、画像、およ びプロンプトなどの情報を保存します。
13. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デモ
14. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成された⾳楽スニペットを利⽤して演奏 サンプラー シンセサイザー ⽣成 AI スピーカー エフェクター
15. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デモ演奏
16. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ • ⾳楽と機械の歴史 • ⾳楽⽣成モデルの歴史と分類 • AudioCraft による⾳楽⽣成デモ • AI と⼈間によるパフォーマンス例 @shimy_net ⾳楽つくってるよ ツイッターやってるよ
17. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! Takayuki Shimizu