卒業研究発表会資料

卒研発表会で使用した資料です．

Transcript

1. Personalized Music Generation with NeuroEvolution So Hirawata
2. 自動作曲技術 音楽的知識なしでの 作曲が可能 音楽理論や作曲技術の 学習に活用 作曲家の支援にも利用 [Okabe, 2019] Reflection-in-action [Schön, 1984] 実践の中で直面する 特定の状況について行動しながら 同時に「驚き」から引き起こされる 省察の重要性を強調 芸術活動の中で新たな省察を 繰り返し発見し表現に影響 [Yokochi, 2007] さまざまな芸術家との出会いが 一人では起こらない省察を促進 [Okada, 2013]
3. 作曲家支援には AIと協同する 対話型が理想 対話型作曲支援システムCACIE [Ando, 2007] 対話型進化計算 & ツリー・トポロジー 対話型自動作曲システム [Mo, 2022] 無調の曲の 創作を容易に ルールが明示的で 予測不可能性が欠如 Transformer 個々のユーザに パーソナライズされた作曲能力 洗練されたモデルが単一で 多様性が欠如
4. Objective 対話型メロディ生成システムを提案 複数の作曲家との 協同制作を再現 作曲家に多様な 刺激を付与
5. ユーザが最初のメロディ・ 小節数・BPMを入力 ユーザが楽曲を評価 … システムに組み込まれた複数の RNNモデルが複数の楽曲を生成 … … … 粒子群最適化(PSO) 鳥の群れや魚の群れが 食料を探す行動を 模倣した最適化手法 ユーザ評価をもとに粒子群最適化で モデルのパラメータを更新 時間的連続性を 捉えて効果的に 学習 & 生成
6. ユーザが最初のメロディ・ 小節数・BPMを入力 ユーザが楽曲を評価 楽曲生成とパラメータ更新は Kubernetesでメモリ容量に 合わせて並列化されたAPIで実行
7. 半構造化インタビュー 質問ガイドに基づきながらも 回答に応じて柔軟に質問を 変更・追加できるインタビュー手法 質的データ分析手法 SCAT [Otani, 2008] インタビューから得た情報を 整理し，体系的に理論化する手法 被験者に提案システムを 使って自由に作曲させ 2パターンの分析を実施 u 支援能力の検証 u 進化能力の検証 生成されたメロディの 音符・休符の数を分析
8. 半構造化インタビューの結果を 質的データ分析手法SCATで分析 参加者A: アルゴリズム作曲の専門家 ジャンル : クラシック・ジャズ スキル : コーラス・ギター・サックス 参加者B: プロの音楽家 ジャンル : ポップス・ロック スキル : ギター・キーボード ポップスの作曲家や 一般の人々にとって 理解しがたい可能性 予測可能な楽譜と 創造的なアイデアの バランスを 取りながら探求 クリック音の追加によって 生成メロディの理解度が 向上する可能性を示唆
9. 音符・休符の 数が増加 生成されたメロディの 音符・休符の数を分析 初期世代 最終世代 各世代で最高評価を得たメロディ 参加者A 参加者B リズムの 多様性を重視 音の変化の 意外性を重視 音符・休符の 数が収束
10. Conclusion 作曲家の創造プロセスの支援で 確かな有効性 FutureWorks 生成メロディに対するユーザの理解度向上