乱数やAI（機械学習）を使って音を奏でてみる / Music LT Vol. 1

by you（@youtoy）

Slide 1

Slide 1 text

乱数やAI（機械学習）を使って音を奏でてみる 2021年12月14日 (火) Music LT Vol. 1 @オンライン豊田陽介（） @youtoy

Slide 2

Slide 2 text

自己紹介ビジュアルプログラミング IoTLT共同主催、その他にも豊田陽介（）普段は、某通信会社勤務 @youtoy ・IT系イベント主催、登壇や運営なども・子ども向けの活動いろいろ（IT系以外も）・ Microsoft MVP（2021/10 から）プライベートでの活動・ガジェット好き・アドベントカレンダーで記事を多数アップその他自宅にたくさん

Slide 3

Slide 3 text

さっそく、やってみたことの例

Slide 4

Slide 4 text

音を作っているプログラム 12行ほど

Slide 5

Slide 5 text

乱数を使って鳴らしてみた事例

Slide 6

Slide 6 text

乱数を使って音を奏でた話

Slide 7

Slide 7 text

そもそも... 過去に楽器を演奏していたこともなく音楽が特に得意だったわけでもなく

Slide 8

Slide 8 text

作品作りの中で音の出力を色々使いたい

Slide 9

Slide 9 text

テクノロジーの力を使おう！

Slide 10

Slide 10 text

必要になりそうなのはどんなタイミングでどんな音を鳴らすか？音色をどうするか？

Slide 11

Slide 11 text

乱数をつかったバージョンの場合パラメータを乱数におまかせ＋ペンタトニックスケール＋ Sonic Pi このへんは付け焼き刃...

Slide 12

Slide 12 text

Sonic Pi GUIアプリ上で Ruby のプログラムを書いていく

Slide 13

Slide 13 text

ランダムな要素とペンタトニックスケールランダムな要素ペンタトニックスケール

Slide 14

Slide 14 text

Sonic Piについて準備の過程で6つの記事 OSCでの通信を使おうとしたボツネタも含め...

Slide 15

Slide 15 text

OSCによる通信を使おうとしたのは...

Slide 16

Slide 16 text

ボツネタ（手の動きで音を奏でるもの）手の認識は MediaPipe Hands Sonic Pi の側が良い感じにできず...

Slide 17

Slide 17 text

機械学習で音を奏でた話

Slide 18

Slide 18 text

機械学習をつかったバージョンの場合 AI（機械学習）に全体をおまかせ ↓ Googleさんの「Magenta」

Slide 19

Slide 19 text

Magenta Make Music and Art Using Machine Learning 機械学習でアート・音楽を作成、Python版と JavaScript版のライブラリが提供されている

Slide 20

Slide 20 text

どんな音が奏でられるか「Magenta.js」の「MusicRNN」の basic_rnn/melody_rnn/chord_pitches_improv 3つの曲をもとにそれぞれ音を作る

Slide 21

Slide 21 text

Magenta.jsのMusicRNN メインとなる部分はこのような感じ

Slide 22

Slide 22 text

きらきらぼしのメロディ

Slide 23

Slide 23 text

Magentaを使った話の詳細はQiitaへ（3記事）「Magenta.js」の MusicRNN・MusicVAE関連

Slide 24

Slide 24 text

終わり！