DeepComposer ~ Hello GAN World ~ / DeepComposer, Hello GAN World

Slide 1

Slide 1 text

2019/12/10 JAWS-UG横浜 #19 AWS re:Invent 2019 Recap いま何かと話題の… DeepComposer ~ Hello GAN World ~ TV TOKYO Corporation 段野祐一郎 (@ydanno)

Slide 2

Slide 2 text

このスライドは connpass上にアップしています！

Slide 3

Slide 3 text

情シス局長 0.997 段野祐一郎 @ydanno Media-JAWS 運営株式会社テレビ東京動画配信技術、データ分析基盤、人材育成・採用、技術戦略担当 AWS re:Invent 3 回目 (2017, 2018, 2019) 戦績：-$88, 累計：-$278 今年は会社から初めて２名で参加平社員 0.999

Slide 4

Slide 4 text

私) Media Servicesのアップデート期待！ ↓ 初日のAWS Experts MTG AWS )「そんなの一個もないよ」 ↓ 完制作・著作 ━━━━━ ⓃⒽⓀ

Slide 5

Slide 5 text

例年以上に全力で楽しんできました！チキン大食い競争 Tatonka 4K/8K チャリティラン AWS Global User Group MTG ワークショップ x 5 　DeepComposer, DeepLens, IoT dispenser, 　AI/ML for Media, WEB AR by Sumerian 超高所絶叫マシーン Insanity AWS主催音楽FES Intersect

Slide 6

Slide 6 text

今回一番推しの発表は、AWS Local Zones !!! 放送運行のような低遅延処理が求められるシステムでは必須アメリカ放送局FOXが導入を予定していると発表

Slide 7

Slide 7 text

今回の LT テーマはワークショップにも参加した DeepComposer ！

Slide 8

Slide 8 text

Deep ３姉弟　※イメージ・教師あり機械学習モデルで　しっかりものの長女 DeepLens ・強化学習モデルで　やんちゃな次男 DeepRacer ・教師なし機械学習モデル、GAN学習用の　音楽好きで真面目な三女 DeepComposer すべての開発者に機械学習をイタズラ好きでわんぱく。頭の回転は早く行動力や判断力も高い明るく陽気でしっかりものだが、一方でおっちょこちょい心優しく、真面目想像力が豊かで即興の歌を作る才能 ©フジテレビ

Slide 9

Slide 9 text

AWS DeepComposer 開発者が Generative AI で作成されたモデルを使って自分でつけたフレーズに伴奏を自動でつけてくれるAI 「自動作曲」のためのツール最近の音楽制作業界において AIの猛威は凄い。右図は AI マスタリングソフト iZotope。 AWS参入で音楽制作もクラウド /AI化の流れが加速しそう！

Slide 10

Slide 10 text

新サービスの前フリはあった JAWS-UG 福岡の内村さんが FBグループで異様にリピート数の多いワークショップを見つけていたそのワークショップ AIM223 が今回の DeepComposer のワークショップになった！

Slide 11

Slide 11 text

おかげでDeepComposer、GETしてきました！内村さん、Thank you very much！実機持ってきたので、みなさん、触って下さい！！！

Slide 12

Slide 12 text

米アマゾンでは 2020/3/16リリース予定で予約受付されてます

Slide 13

Slide 13 text

DeepComposerをGETした喜びもつかの間… このTwitterの投稿写真に、とんでもないものが紛れ込んでしまっていた… もうおわかりいただけただろうか？

Slide 14

Slide 14 text

No content

Slide 15

Slide 15 text

（某心霊番組調）

Slide 16

Slide 16 text

コーヒーじゃない！！！

Slide 17

Slide 17 text

No content

Slide 18

Slide 18 text

!!!

Slide 19

Slide 19 text

DeepComposer ≠ キーボード DeepComposer = Generative AI DeepLens・DeepRacerと違って、 MIDIデータをインプットすれば自由に成果物を体験・シェアできる！（キーボードOEMかよ！というツッコミはナシよ。）

Slide 20

Slide 20 text

要注意

Slide 21

Slide 21 text

コンソールに仮想キーボードもあるので誰でも使える！試せる！！ Previewが待ち遠しいですね！

Slide 22

Slide 22 text

これだと内容が薄すぎるので、ワークショップで得た内容をシェア

Slide 23

Slide 23 text

GANは産業界ではすでに、機体や歯のプラントのモデリングで使われている

Slide 24

Slide 24 text

サンプルは「きらきら星」。右上の「モデル」から学習モデルを選択し、「Generate Composition」を押すと、楽器の音が生成される。

Slide 25

Slide 25 text

学習済みモデルとして、ジャズ/Pop/Rock/シンフォニーの他、ジョナサンコールトン(プログラマーでシンガーソングライター. コーディングやギークカルチャーをテーマとする歌を謳ってる)が用意されていた（アメリカン・ジョーク）

Slide 26

Slide 26 text

作成した楽曲は、MIDIやMP3でのダウンロードの他、 SoundCloudでシェアできる。

Slide 27

Slide 27 text

deepcomposer で検索すると68曲あります。クラスメソッド宮島さんも15曲アップしてました。さすが…

Slide 28

Slide 28 text

カスタムモデルは、SageMaker（jupyter notebook）で作成

Slide 29

Slide 29 text

２次元グラフ化ピアノロールは、　・時間　・ピッチを備えた2次元のグリッドとして見ることができる音楽を２次元データのグラフとして処理する！ピアノと機械学習は相性が良い

Slide 30

Slide 30 text

https://www.freecodecamp.org/news/an-intuitive-introduction -to-generative-adversarial-networks-gans-7a2264a81394/ GAN（Generative Adversarial Networks）貨幣の偽造者(Generator)と、それを見抜く警察(Discriminator) 2つのモデルを競合するように学習させていく

Slide 31

Slide 31 text

DeepComposer ワークショップでは　GAN に WGAN-GP（Wasserstein GAN with Gradient Penalty）　Generator ネットワーク構成に U-Net を採用して精度を高めているとのこと（お勉強中…）

Slide 32

Slide 32 text

aws-samples/aws-deepcomposer-samples

Slide 33

Slide 33 text

所感 YouTuber 等、オリジナル音源を使いたい人にはマッチしそう。プロも参考には使えるかも。学習用に使う楽曲の著作権、GANで生成した音楽の著作権は　どうなるのか？？？「音楽を編曲する」という目的が明確化されているので、　　　 GAN を学ぶキッカケには良さそう！

Slide 34

Slide 34 text

Slide 35

Slide 35 text

[PR] 年末年始の夜のテレ東は、　　「三夜連続“美食晩餐会”」！ 12月31日 1月1日 1月2日紅白は「美空ひばりAI」を見終わったらテレ東で「孤独のグルメ」を見てね！！

Slide 36

Slide 36 text

NOV30 - DEC4, 2020, Las Vegas