AI が奏でる新たな音楽体験 ~生成AIで音楽を作って楽しもう~

Slide 1

Slide 1 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AI が奏でる新たな⾳楽体験〜⽣成 AI で⾳楽を作って楽しもう〜 Takayuki Shimizu M I N I S E S S I O N Amazon Web Services Japan G.K. Senior Manager, Solutions Architect

Slide 2

Slide 2 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾃⼰紹介清⽔崇之ソリューションアーキテクト @shimy_net モノづくり AWS 公式ウェブマガジン builders.flash 「変⾝ベルト」を機械学習で作ってみた https://aws.amazon.com/jp/builders- flash/202108/ml-henshin-belt/

Slide 3

Slide 3 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾳楽と機械の歴史引用: Research in Music and Artificial Intelligence / MIT Computing Surveys, Vol. 17, No. 2, June 1985 • 紀元前 2 世紀には⾳楽オートマタが存在 • 13 世紀にオランダで機械式の鐘が作られる § 回転シリンダの⽳に⽊材を差し込みプログラミング • 16 世紀にダ・ヴィンチがスピネットとドラムセットを制作 • 20 世紀初頭 (1910年) まで多くの⾳楽オートマタが作られる • それ以降はエジソンとベルリナーにより電気録⾳式が主流に紙カード式の⾳楽オートマの例

Slide 4

Slide 4 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾳楽の制作⼯程と AI の活⽤作詞・作曲編曲・プログラミングレコーディング・編集マスタリングミックス・メロディ・コード進⾏・全体構成・リズム、パターン・各パート構成・サンプリング・MIDI, シーケンス・サウンドデザイン・歌声、楽器演奏・ノイズ除去・ピッチ補正・タイミング補正・各パート⾳量調整・オートメーション・エフェクト・サウンドデザイン・⾳量・⾳圧調整・エフェクト・サウンドデザイン

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾳楽⽣成モデルのタイムラインと階層分類引用: A Survey of AI Music Generation Tools and Models / Yueyue Zhu, Jared Baca, Banafsheh Rekabdar. Reza Rawassizadeh / August 28, 2023 ⾳楽⽣成モデルのタイムライン⾳楽⽣成モデルの階層分類

Slide 7

Slide 7 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AudioCraft by Meta AI について MusicGen 圧縮された離散的な⾳楽表現（トークン）のストリーム上で動作する単⼀の⾃⼰回帰⾔語モデル（LM）で構成。トークンの並列ストリームの内部構造を利⽤するシンプルなアプローチを導⼊し、単⼀のモデルとエレガントなトークンのインターリーブパターンにより、オーディオシーケンスを効率的にモデル化し、同時にオーディオの⻑期的な依存関係を捕捉し、⾼品質なオーディオを⽣成できる。引⽤: https://audiocraft.metademolab.com/

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ AWS Cloud Users AWS Lambda Amazon SageMaker Amazon S3 Amazon API Gateway Amazon DynamoDB Amazon Bedrock Amazon Bedrock ③ ファイルを保存 ② ⾳楽・画像を⽣成 ① プロンプトを⽣成 ① プロンプトを⽣成 Amazon Bedrock (Anthropic / Cloude 3) がユーザーから⼊⼒されたキーワードをもとに⾳楽・画像の⽣成に⽤いるプロンプトを⽣成します。 ”Generate an upbeat, melodic, and nostalgic 1980s- inspired dance track with a BPM of 120. Incorporate classic analog synthesizer sounds, a driving four-on- the-floor drum pattern, and evoke a sense of joy and nostalgia...”

Slide 11

Slide 11 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ AWS Cloud Users AWS Lambda Amazon SageMaker Amazon S3 Amazon API Gateway Amazon DynamoDB Amazon Bedrock Amazon Bedrock ③ ファイルを保存 ② ⾳楽・画像を⽣成 ① プロンプトを⽣成 ② ⾳楽・画像を⽣成 Amazon SageMaker (meta / AudioCraft) がプロンプトをもとに⾳楽を⽣成します。 Amazon Bedrock (Stability AI / Stable Diffusion SDXL 1.0) がプロンプトをもとに画像を⽣成します。

Slide 12

Slide 12 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ AWS Cloud Users AWS Lambda Amazon SageMaker Amazon S3 Amazon API Gateway Amazon DynamoDB Amazon Bedrock Amazon Bedrock ③ ファイルを保存 ② ⾳楽・画像を⽣成 ① プロンプトを⽣成 ③ ファイルを保存 Amazon S3 が⾳楽・画像のファイルを保存します。 Amazon DynamoDB が⾳楽、画像、およびプロンプトなどの情報を保存します。