20230306_オモシロAIごった煮会_第１回_音楽AIトーク_弁財天に参加してきた話_v1.01(公開用)

https://omoshiroai.connpass.com/event/276255/

Transcript

1. 第１回 オモシロAIごった煮勉強会 ミュージックアナリティクス 弁財天にリスナー参加してきた話 2023/03/06 @doradora09
2. Copyright © 2023 NOB DATA All Rights Reserved. ⾃⼰紹介 ⼤城信晃(@doradora09) NOB DATA株式会社 代表取締役社⻑ / データサイエンティスト協会 九州⽀部 委員⻑ ・住まい 沖縄 -> 東京 -> 福岡 ・職歴 ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業 ・運営コミュニティ ・過去 ・Tokyo.R(2010-2016) ・現在 ・fukuoka.R、PyData.Fukuoka、 意思決定のためのデータ分析勉強会、 データ分析系勉強会サテライトビューイング、 オモシロAIごった煮勉強会 ⾳楽関係だとピアノ少し、吹奏楽でホルン やってたくらいです。あとは10年くらい前 にMIDIを遊びでかじったくらい。 DTMは未経験。
3. Copyright © 2023 NOB DATA All Rights Reserved. ミュージックアナリティクス弁財天 ・Music×Analytics勉強会の特別企画 https://muana.connpass.com/event/263705/ ・対戦ルール ・チャレンジャーには、 ・伴奏のMIDIデータ、 コード進⾏のテキストデータ、 が渡されます！ ・チャレンジャーのみなさんは、 事前にアドリブ出⼒モデルを⽤意し、 本番その場でAIの作ったアドリブを出⼒ してもらいます。 ・補⾜：制限時間５分のトーナメント⽅式。 毎回の課題曲は別。 複数の曲を作って５分の間に選ぶのはOK (⼈間による編集はNG)
4. Copyright © 2023 NOB DATA All Rights Reserved. 本⽇話さない内容① • 今⽇は動画や⾳を実際に聞いていただき、当⽇の雰囲 気やクオリティを中⼼に感じてもらえれば幸いです (技術⾯の解説を期待された⽅、ごめんなさい) • 当⽇のTwitterハッシュタグはこちら • #benzaiten • 今⽇は時間的都合(&⼤城の理解不⾜)から細かな⾳楽 理論、実装の話は割愛させていただきます • ご興味お持ちの⽅は以下をご参照ください • ロジック周りは公式のコードや北原先⽣の解説、またス ターターキットをご参照ください • https://benzaiten.studio.site/rule • 今回はTensorflow版とMagenta版のサンプルコー ドあり。 サンプルファイルを設置すると、Google Colabで 動きます。 • ちなみにgoogleもMagentaという作曲AIのプロダクトを 出してたりするようです。詳しい⽅いらっしゃいました らまたLTなどお願いします・・！
5. Copyright © 2023 NOB DATA All Rights Reserved. 本⽇話さない内容② • ⼀応、主催の皆さんが⽤意されたスターターキットは こんな感じです(google colab) • Magenta版 • https://colab.research.google.com/drive/1xIqEjQ 86KkghDIZrsYJbPMXvfYX4Kjw7 • デフォルトでGPU使う設定になってるはず • サンプルの⾳源はこちらからDL • https://drive.google.com/drive/folders/1jZSMX1 4B-i98x06QowaNL_9VGXeJZJbd • 以下の２ファイルをコードが参照しているファイ ルパスにおけば動くはず
6. Copyright © 2023 NOB DATA All Rights Reserved. 本⽇話さない内容③ • スターターキットのTensorFlow版には北原先⽣によるコードの解説があります • 前半にはロジック、後半にはプログラムを改善するアイディアもありますので、 ご興味お持ちの⽅はこちらもご参照ください • 『弁財天』 Starter Kit ver. 1.0 （TensorFlow版） • https://docs.google.com/document/d/1CizJ6b9i2yZ9OIDPrBWUROyJahlZrlqe-naxh4brACQ/edit
7. Copyright © 2023 NOB DATA All Rights Reserved. では早速当⽇の模様のご紹介
8. Copyright © 2023 NOB DATA All Rights Reserved. 会場はこんな感じでした ・⽇本⼤学⽂理学部の⼀⾓で開催 ・８チーム対戦 -> 途中で⼿法のLT -> 決勝 -> 北原先⽣のロングトーク等々、充実のコンテンツ
9. Copyright © 2023 NOB DATA All Rights Reserved. 具体的にはどういうこと？百聞は⼀⾒にしかず(⾳量注意) ・公開されてるサンプルだと以下のような曲 (※⾳量注意) (ガレージバンドで開いた例。実際はMIDI形式のテキストデータ) ・さらに公開されているサンプルプログラムを突っ込むと以下のようにメロディーが⽣成される -> 各⾃、事前に作曲プログラムについては改変・チューニングOK ・後からこのスライド⾒る⼈はすみません。PDFだと⾳は出ませんが以下をご参照ください ・公式サイト：https://benzaiten.studio.site/rule ・ PyTorchで実⾏した事例をご紹介いただいたmat様のブログ https://tam5917.hatenablog.com/entry/2022/10/25/204745 伴奏データを可視化した例 AIによる メロディー作成 (複数候補OK) 演者により１曲 選択し提出。 伴奏＋メロディーを 合成して流し、 オーディエンスの投 票で勝敗を決める
10. Copyright © 2023 NOB DATA All Rights Reserved. いきなり決勝戦の模様から ・予選突破をした８組が当⽇バトル ・決勝戦は先⾏：log5さん(ソロ参戦)と 後攻：でこぼこふれんずチーム(2名)の⼀騎討ち
11. Copyright © 2023 NOB DATA All Rights Reserved. 決勝の模様の動画 (スライドUP時は削除予定、⾳量注意) こちらは 録⾳・録画 禁⽌ 先⾏と後攻、どちらが良かったか後ほどお伺いしますね 動画は削除しております
12. Copyright © 2023 NOB DATA All Rights Reserved. 皆さんは先⾏・後攻、どちらが よかったでしょうか？
13. Copyright © 2023 NOB DATA All Rights Reserved. 当⽇の投票結果はこちら • 先⾏のlog5さんの勝利・・！！ただし、ほんと僅差 (数票差) (53.6% vs 46.4%) • 所感 • ⼈が最終的に選ぶとはいえ５分間の縛りでもここまでできるのかという印象 • ( もちろん、プロの作曲者や画像⽣成・⽂章作成のAIと⽐べるとまだまだだとは思うものの、 ⽀援ツールとしては使えそう。⾳楽理論や学習データをどう増やすかは課題か )
14. Copyright © 2023 NOB DATA All Rights Reserved. その他、印象深かった演者のみなさん (動画は後ほど削除) • ⾳楽のドメイン知識がないから理論は無視するぜ！という戦略 • 「⾃然⾔語処理の応⽤で確率的に⾳楽を⽣成」していたケース • OpenAIのDALL-Eを使って「楽譜を画像データとして⽣成」したケース (⼀番驚きました。会場もどよめいていた) こちらは 録⾳・録画 禁⽌ ⾳符の部分を削除した画像を⾷わせて・・ なんと楽譜データを⽣成・・！！ (その後MIDIに変換してプレイ)
15. Copyright © 2023 NOB DATA All Rights Reserved. ⼀応、どういう⾳かという部分も参考まで(⾳量注意) こちらは 録⾳・録画 禁⽌ ・後攻が該当の曲(画像⽣成で作曲) 動画は削除しております
16. Copyright © 2023 NOB DATA All Rights Reserved. 個⼈的な考察 • 当⽇、会場で演者や司会のお⼆⼈も話されていたのが「減点されにくい曲」のスコアが今回⾼い、という印 象 ( ex : コード進⾏に合わない⾳、無⾳、単調なロングトーン等) • 絵やテキストと違って、⾳の場合は半⾳ずれるだけで違和感がmaxになることもあるので、独⾃の難しさは ありそう (絵のAI⽣成は指が多少おかしくても全体としては通⽤する) • また⾳楽データの場合は学習データも集めるのが難しそう (波形データの場合はノイズの問題、またミック スされた⾳の分離の問題。⼀⽅で⽣のMIDIデータは通常あまり⼤量には流通していない。また楽譜データの 場合は書き起こす必要がある) • ⾳声のテキスト化より、研究の優先度が低い可能性もあるのではないか ( ⾳声解析はビジネスインパクトが⼤きいが、⾳楽⽣成の場合は⼀部のユースケースに限定される？ ) • Google謹製のMagentaでもまだ⼈間には及ばない状況なので、研究分野としてはまだまだ発展の余地があり そう • 「⾳楽のドメイン知識を⼊れる」 vs「理論を⼊れない他のアプローチ」の可能性を感じることができました • 以下、妄想ですがそのうちこの分野の進化が進むとゲームの曲とかも作曲指⽰でサクッと作れるようになる とゲーム開発なども捗るかもしれませんね・・！！
17. Copyright © 2023 NOB DATA All Rights Reserved. One more thing .. • 弁財天のvol2が企画されているようです・・！ (夏〜秋頃やりたいとのこと) • 次は皆さんもぜひ参加・参戦されてみてはいかがでしょうか。 (余⼒があれば私も・・ あるかな・・)
18. Copyright © 2023 NOB DATA All Rights Reserved. Enjoy..!!