乱数やAI（機械学習）を使って音を奏でてみる / Music LT Vol. 1

Transcript

1. 乱数やAI（機械学習）を使って 音を奏でてみる 2021年12月14日 (火) Music LT Vol. 1 @オンライン 豊田陽介（ ） @youtoy
2. 自己紹介 ビジュアルプログラミング IoTLT共同主催、その他にも 豊田陽介（ ） 普段は、某通信会社勤務 @youtoy ・IT系イベント主催、登壇や運営なども ・子ども向けの活動いろいろ（IT系以外も） ・ Microsoft MVP（2021/10 から） プライベートでの活動 ・ガジェット好き ・アドベントカレンダーで記事を多数アップ その他 自宅にたくさん
3. さっそく、 やってみたことの例
4. 音を作っているプログラム 12行ほど
5. 乱数を使って鳴らしてみた事例
6. 乱数を使って 音を奏でた話
7. そもそも... 過去に楽器を演奏していたこともなく 音楽が特に得意だったわけでもなく
8. 作品作りの中で 音の出力を色々使いたい
9. テクノロジーの 力を使おう！
10. 必要になりそうなのは どんなタイミングでどんな 音を鳴らすか？ 音色をどうするか？
11. 乱数をつかったバージョンの場合 パラメータを乱数におまかせ ＋ ペンタトニックスケール ＋ Sonic Pi このへんは 付け焼き刃...
12. Sonic Pi GUIアプリ上で Ruby のプログラムを書いていく
13. ランダムな要素とペンタトニックスケール ランダムな要素 ペンタトニックスケール
14. Sonic Piについて準備の過程で6つの記事 OSCでの通信を使おうとしたボツネタも含め...
15. OSCによる通信を 使おうとしたのは...
16. ボツネタ（手の動きで音を奏でるもの） 手の認識は MediaPipe Hands Sonic Pi の側が良い感じにできず...
17. 機械学習で 音を奏でた話
18. 機械学習をつかったバージョンの場合 AI（機械学習）に 全体をおまかせ ↓ Googleさんの 「Magenta」
19. Magenta Make Music and Art Using Machine Learning 機械学習でアート・音楽を作成、Python版と JavaScript版のライブラリが提供されている
20. どんな音が奏でられるか 「Magenta.js」の「MusicRNN」の basic_rnn/melody_rnn/chord_pitches_improv 3つの曲をもとに それぞれ音を作る
21. Magenta.jsのMusicRNN メインとなる部分は このような感じ
22. きらきらぼしのメロディ
23. Magentaを使った話の詳細はQiitaへ（3記事） 「Magenta.js」の MusicRNN・MusicVAE関連
24. 終わり！