機械学習で
 やってみたい事
 2019年9月26日　brainbrown 

何をするの？ 1. 【端折った説明】コンピューターに、耳コピーをさせる。 

何をするの？ 1. 【端折った説明】コンピューターに、耳コピーをさせる。 2. 【少し噛み砕いた説明】楽曲データ（WAVファイル）を読ませて、譜 面（SMFファイル）を吐き出す。 

何をするの？ 1. 【端折った説明】コンピューターに、耳コピーをさせる。 2. 【少し噛み砕いた説明】楽曲データ（WAVファイル）を読ませて、譜 面（SMFファイル）を吐き出す。 3. 【具体的な説明】この後スグ！ 

本当の目的 既に自分が他の人と比較して突出して出来る事＝耳コピーの能力 を、計算機に代行させるしくみを構築体験する事で、 システム構築のノウハウを習得したい ＝機械学習としての耳コピー出力結果が欲しいのでは無い。 

アドバンテージ：データの収集（読出/生成系） 【音の元素材：読み出し系】500GBを余裕で超える（推定波形ファイル数：100万ファイル） 生楽器のサンプリング・ライブラリー 

アドバンテージ：データの収集（読出/生成系） 【音の元素材：読み出し系】500GBを余裕で超える（推定波形ファイル数：100万ファイル） 生楽器のサンプリング・ライブラリー 【音の元素材：生成系】約60機種のソフトウェア・シンセサイザー群の無限とも思えるプリ セット・サウンドと微調整結果 

アドバンテージ：データの収集（変調/合成系） 【元素材のバリエーション：変調系】各種エフェクターを用いて、音色のニュアンスの変更 

アドバンテージ：データの収集（変調/合成系） 【元素材のバリエーション：変調系】各種エフェクターを用いて、音色のニュアンスの変更 【元素材のバリエーション：表現系】MIDIデータ的に、小さな音から大きな音（ppp~fff）に依 る音色の違い、奏法の違い等 

アドバンテージ：データの収集（変調/合成系） 【元素材のバリエーション：変調系】各種エフェクターを用いて、音色のニュアンスの変更 【元素材のバリエーション：表現系】MIDIデータ的に、小さな音から大きな音（ppp~fff）に依 る音色の違い、奏法の違い等 【元素材のバリエーション：単音色合成系】MIDIデータ的に、音程を重ねて和音にする（2音 ～10音程度） 

アドバンテージ：データの収集（変調/合成系） 【元素材のバリエーション：変調系】各種エフェクターを用いて、音色のニュアンスの変更 【元素材のバリエーション：表現系】MIDIデータ的に、小さな音から大きな音（ppp~fff）に依 る音色の違い、奏法の違い等 【元素材のバリエーション：単音色合成系】MIDIデータ的に、音程を重ねて和音にする（2音 ～10音程度） 【元素材のバリエーション：その他】MIDIデータ的に、ワンショット系のフレーズを作る（装飾 音符、トリル、グリッサンド等） 

アドバンテージ：データの収集（パッチ演算生成） 【元素材：変調系】シンセサイザーの主要パラメータの値を、プログラムに依って総当たり的 に生成し（音色プログラムの自動生成）、そのデータをソフトウェアシンセサイザーに読み込 ませ、別途生成されたMIDIデータによって再生＝波形データ（教師付データ）を出力。 タイプ：６種類 波形：４種類＋α フィルタ種類：６種類 フィルタ値：127段階 強調値：127段階 EG連動値：127段階 音色変化用 立ち上がり/減衰/持続 /余韻 音量変化用 立ち上がり/減衰/持続 /余韻 

アドバンテージ：データの収集（パッチ演算生成） 【元素材：変調系】シンセサイザーの主要パラメータの値を、プログラムに依って総当たり的 に生成し（音色プログラムの自動生成）、そのデータをソフトウェアシンセサイザーに読み込 ませ、別途生成されたMIDIデータによって再生＝波形データ（教師付データ）を出力。 音　楽 WAVデータ 教師付データ 譜　面 MIDIデータ ラベル 楽　器 音色データ ラベル 

アドバンテージ：データの収集（パッチ演算生成） 音　楽 WAVデータ 教師付データ 譜　面 MIDIデータ ラベル 楽　器 音色データ ラベル 音程 WAVデータ 教師付データ 譜面 MIDIデータ ラベル ｴﾌｪｸﾀ ｰ ｾｯﾃｨﾝｸﾞﾃﾞｰﾀ 楽器 音色データ ラベル 

アドバンテージのまとめ 他の分野に比べ、教師付データの収集という点に於いて、圧倒的な優位性がある。 →→3DCGの1キャラクターモデルを元に、様々な顔やポーズや衣装のバリエー ションを生成出来るのと同じ。 

アドバンテージのまとめ 他の分野に比べ、教師付データの収集という点に於いて、圧倒的な優位性がある。 →→3DCGの1キャラクターモデルを元に、様々な顔やポーズや衣装のバリエー ションを生成出来るのと同じ。 →→キャラクターの人物違い、或いは動物として、もしくは有機物と無機物として の違いは、元素材としての楽器の種類に該当 ✕ 

アドバンテージのまとめ 他の分野に比べ、教師付データの収集という点に於いて、圧倒的な優位性がある。 →→3DCGの1キャラクターモデルを元に、様々な顔やポーズや衣装のバリエー ションを生成出来るのと同じ。 →→キャラクターの人物違い、或いは動物として、もしくは有機物と無機物として の違いは、元素材としての楽器の種類に該当 収集＝足し算だが、生成＝掛け算であり、その掛け算要素を複数持つ事が可能 

アドバンテージのまとめ 他の分野に比べ、教師付データの収集という点に於いて、圧倒的な優位性がある。 →→3DCGの1キャラクターモデルを元に、様々な顔やポーズや衣装のバリエー ションを生成出来るのと同じ。 →→キャラクターの人物違い、或いは動物として、もしくは有機物と無機物として の違いは、元素材としての楽器の種類に該当 収集＝足し算だが、生成＝掛け算であり、その掛け算要素を複数持つ事が可能 →→→少ないリソースで豊富で十分なバリエーションを持つ、正しいラベ ルの付いた教師付データが手に入る 

全体のフロー 原 料 準 備 部 ソフトウェア・シンセサイ ザーに演奏をさせる為の 演奏データ（MIDIデータ） を、プログラムで生成させ る。 ・MAX/MSPというスクリプト型 音楽ソフトを用いて、アルゴリズ ム生成 ・VSTに対応しているので、右 のピアノテック音源をコントロー ルして波形生成が可能 

全体のフロー 原 料 準 備 部 教師付データ生成部 ソフトウェア・シンセサイ ザーに演奏をさせる為の 演奏データ（MIDIデータ） を、プログラムで生成させ る。 ・MAX/MSPというスクリプト型 音楽ソフトを用いて、アルゴリズ ム生成 ・VSTに対応しているので、右 のピアノテック音源をコントロー ルして波形生成が可能 音程を正しく拾う事が目的 なので、学習教材として、 ピアノテック（物理演算ピア ノ）を用いて波形データを 生成 【ピアノテックの優位性】 ・調律が1鍵単位で出来る ・ピアノの各要素（弦、ハン マー、ペダル、共振、マイク位置 等）が調整可能 

全体のフロー 原 料 準 備 部 教師付データ生成部 機 械 学 習 部 ソフトウェア・シンセサイ ザーに演奏をさせる為の 演奏データ（MIDIデータ） を、プログラムで生成させ る。 ・MAX/MSPというスクリプト型 音楽ソフトを用いて、アルゴリズ ム生成 ・VSTに対応しているので、右 のピアノテック音源をコントロー ルして波形生成が可能 音程を正しく拾う事が目的 なので、学習教材として、 ピアノテック（物理演算ピア ノ）を用いて波形データを 生成 【ピアノテックの優位性】 ・調律が1鍵単位で出来る ・ピアノの各要素（弦、ハン マー、ペダル、共振、マイク位置 等）が調整可能 GoogleCloudPlatformに て構築 （これから頑張る） 

全体のフロー 原 料 準 備 部 教師付データ生成部 機 械 学 習 部 検　証　部 ソフトウェア・シンセサイ ザーに演奏をさせる為の 演奏データ（MIDIデータ） を、プログラムで生成させ る。 ・MAX/MSPというスクリプト型 音楽ソフトを用いて、アルゴリズ ム生成 ・VSTに対応しているので、右 のピアノテック音源をコントロー ルして波形生成が可能 音程を正しく拾う事が目的 なので、学習教材として、 ピアノテック（物理演算ピア ノ）を用いて波形データを 生成 【ピアノテックの優位性】 ・調律が1鍵単位で出来る ・ピアノの各要素（弦、ハン マー、ペダル、共振、マイク位置 等）が調整可能 GoogleCloudPlatformに て構築 （これから頑張る） GoogleCloudPlatform にて構築 （これから頑張る） 生成されたMIDIデータを、 原料準備部で生成された MIDIデータと比較し、採点 する。 その結果を、機械学習部 にフィードバックする。 

全体のフロー 原 料 準 備 部 教師付データ生成部 機 械 学 習 部 検　証　部 ソフトウェア・シンセサイ ザーに演奏をさせる為の 演奏データ（MIDIデータ） を、プログラムで生成させ る。 ・MAX/MSPというスクリプト型 音楽ソフトを用いて、アルゴリズ ム生成 ・VSTに対応しているので、右 のピアノテック音源をコントロー ルして波形生成が可能 音程を正しく拾う事が目的 なので、学習教材として、 ピアノテック（物理演算ピア ノ）を用いて波形データを 生成 【ピアノテックの優位性】 ・調律が1鍵単位で出来る ・ピアノの各要素（弦、ハン マー、ペダル、共振、マイク位置 等）が調整可能 GoogleCloudPlatformに て構築 （これから頑張る） GoogleCloudPlatform にて構築 （これから頑張る） 生成されたMIDIデータを、 原料準備部で生成された MIDIデータと比較し、採点 する。 その結果を、機械学習部 にフィードバックする。 

このシステムの調教計画（教育方針） 第１目標 ピアノテック音源を用いた 「ピアノの音色のみで、 単 音で構成されているオー ディオファイル」から、元の 譜面に相当する音程デー タを完全に正しく予測する 

このシステムの調教計画（教育方針） 第１目標 第２目標 ピアノテック音源を用いた 「ピアノの音色のみで、 単 音で構成されているオー ディオファイル」から、元の 譜面に相当する音程デー タを完全に正しく予測する 第１目標と同じ条件で、 2 音で構成されているオー ディオファイル」から、元の 譜面に（略 

このシステムの調教計画（教育方針） 第１目標 第２目標 第３目標 ピアノテック音源を用いた 「ピアノの音色のみで、 単 音で構成されているオー ディオファイル」から、元の 譜面に相当する音程デー タを完全に正しく予測する 第１目標と同じ条件で、 2 音で構成されているオー ディオファイル」から、元の 譜面に（略 第２目標と同じ条件で、 3 音以上で構成されている オーディオファイル」から、 元の譜面に（略 

このシステムの調教計画（教育方針） 第１目標 第２目標 第３目標 第４目標 ピアノテック音源を用いた 「ピアノの音色のみで、 単 音で構成されているオー ディオファイル」から、元の 譜面に相当する音程デー タを完全に正しく予測する 第１目標と同じ条件で、 2 音で構成されているオー ディオファイル」から、元の 譜面に（略 第２目標と同じ条件で、 3 音以上で構成されている オーディオファイル」から、 元の譜面に（略 第３目標と同じ条件だが、 同じ和音でボイシングの 異なる複数のオーディオ ファイル」から、元の譜面 に（略 

このシステムの調教計画（教育方針） 第１目標 第２目標 第３目標 第４目標 ピアノテック音源を用いた 「ピアノの音色のみで、 単 音で構成されているオー ディオファイル」から、元の 譜面に相当する音程デー タを完全に正しく予測する 第１目標と同じ条件で、 2 音で構成されているオー ディオファイル」から、元の 譜面に（略 第２目標と同じ条件で、 3 音以上で構成されている オーディオファイル」から、 元の譜面に（略 第３目標と同じ条件だが、 同じ和音でボイシングの 異なる複数のオーディオ ファイル」から、元の譜面 に（略 第５目標 第１～4目標と同じ条件だ が、各種エフェクトを掛け たオーディオファイル から （略 

このシステムの調教計画（教育方針） 第１目標 第２目標 第３目標 第４目標 ピアノテック音源を用いた 「ピアノの音色のみで、 単 音で構成されているオー ディオファイル」から、元の 譜面に相当する音程デー タを完全に正しく予測する 第１目標と同じ条件で、 2 音で構成されているオー ディオファイル」から、元の 譜面に（略 第２目標と同じ条件で、 3 音以上で構成されている オーディオファイル」から、 元の譜面に（略 第３目標と同じ条件だが、 同じ和音でボイシングの 異なる複数のオーディオ ファイル」から、元の譜面 に（略 第５目標 第１～4目標と同じ条件だ が、各種エフェクトを掛け たオーディオファイル から （略 第６目標 第１～4目標と同じ条件だ が、少し調律の甘いオー ディオファイルから（略 

このシステムの調教計画（教育方針） 第１目標 第２目標 第３目標 第４目標 ピアノテック音源を用いた 「ピアノの音色のみで、 単 音で構成されているオー ディオファイル」から、元の 譜面に相当する音程デー タを完全に正しく予測する 第１目標と同じ条件で、 2 音で構成されているオー ディオファイル」から、元の 譜面に（略 第２目標と同じ条件で、 3 音以上で構成されている オーディオファイル」から、 元の譜面に（略 第３目標と同じ条件だが、 同じ和音でボイシングの 異なる複数のオーディオ ファイル」から、元の譜面 に（略 第５目標 第１～4目標と同じ条件だ が、各種エフェクトを掛け たオーディオファイル から （略 第６目標 第１～4目標と同じ条件だ が、少し調律の甘いオー ディオファイルから（略 第７目標 第１～4目標と同じ条件だ が、背後で雑音（環境音） が混ざっているオーディオ ファイルから（略 （いずれは雑音が他の楽器の音に） 

このシステムの調教計画（教育方針） 第１目標 第２目標 第３目標 第４目標 ピアノテック音源を用いた 「ピアノの音色のみで、 単 音で構成されているオー ディオファイル」から、元の 譜面に相当する音程デー タを完全に正しく予測する 第１目標と同じ条件で、 2 音で構成されているオー ディオファイル」から、元の 譜面に（略 第２目標と同じ条件で、 3 音以上で構成されている オーディオファイル」から、 元の譜面に（略 第３目標と同じ条件だが、 同じ和音でボイシングの 異なる複数のオーディオ ファイル」から、元の譜面 に（略 第５目標 第１～4目標と同じ条件だ が、各種エフェクトを掛け たオーディオファイル から （略 第６目標 第１～4目標と同じ条件だ が、少し調律の甘いオー ディオファイルから（略 第７目標 第１～4目標と同じ条件だ が、背後で雑音（環境音） が混ざっているオーディオ ファイルから（略 （いずれは雑音が他の楽器の音に） 第八目標 第７目標と同じ条件だが、 背後で雑音（人の会話）が 混ざっているオーディオ ファイルから（略 （いずれは人の会話がコーラスのハー モニーに） 

本計画を実施する事に依って得られる技能 教師付データ生成部 機 械 学 習 部 検　証　部 音程を正しく拾う事が目的 なので、学習教材として、 ピアノテック（物理演算ピア ノ）を用いて波形データを 生成 【ピアノテックの優位性】 ・調律が1鍵単位で出来る ・ピアノの各要素（弦、ハン マー、ペダル、共振、マイク位置 等）が調整可能 GoogleCloudPlatformに て構築 （これから頑張る） GoogleCloudPlatform にて構築 （これから頑張る） 生成されたMIDIデータを、 原料準備部で生成された MIDIデータと比較し、採点 する。 その結果を、機械学習部 にフィードバックする。 原 料 準 備 部 ソフトウェア・シンセサイ ザーに演奏をさせる為の 演奏データ（MIDIデータ） を、プログラムで生成させ る。 ・MAX/MSPというスクリプト型 音楽ソフトを用いて、アルゴリズ ム生成 ・VSTに対応しているので、右 のピアノテック音源をコントロー ルして波形生成が可能