DeepComposer ~ Hello GAN World ~ / DeepComposer, Hello GAN World

Transcript

1. 2019/12/10 JAWS-UG横浜 #19 AWS re:Invent 2019 Recap いま何かと話題の… DeepComposer ~

   Hello GAN World ~ TV TOKYO Corporation 段野 祐一郎 (@ydanno)

2. このスライドは connpass上に アップしています！

3. 情シス 局長 0.997 段野 祐一郎 @ydanno Media-JAWS 運営 株式会社テレビ東京 動画配信技術、データ分析基盤、

   人材育成・採用、技術戦略 担当 AWS re:Invent 3 回目 (2017, 2018, 2019) 戦績：-$88, 累計：-$278 今年は会社から初めて２名で参加 平社員 0.999

4. 私) Media Servicesのアップデート期待！ ↓ 初日のAWS Experts MTG AWS )「そんなの一個もないよ」 ↓

   完 制作・著作 ━━━━━ ⓃⒽⓀ

5. 例年以上に全力で 楽しんできました！ チキン大食い競争 Tatonka 4K/8K チャリティラン AWS Global User Group

   MTG ワークショップ x 5 　DeepComposer, DeepLens, IoT dispenser, 　AI/ML for Media, WEB AR by Sumerian 超高所絶叫マシーン Insanity AWS主催音楽FES Intersect

6. 今回一番推しの発表は、AWS Local Zones !!! 放送運行のような低遅延処理が求められるシステムでは必須 アメリカ放送局FOXが導入を予定していると発表

7. 今回の LT テーマは ワークショップにも参加した DeepComposer ！

8. Deep ３姉弟　※イメージ ・教師あり機械学習モデルで 　しっかりものの長女 DeepLens ・強化学習モデルで 　やんちゃな次男 DeepRacer ・教師なし機械学習モデル、GAN学習用の 　音楽好きで真面目な三女

   DeepComposer すべての開発者に機械学習を イタズラ好きでわんぱく。 頭の回転は早く行動力や判断力も高い 明るく陽気でしっかりものだが、 一方でおっちょこちょい 心優しく、真面目 想像力が豊かで即興の歌を作る才能 ©フジテレビ

9. AWS DeepComposer 開発者が Generative AI で 作成されたモデルを使って 自分でつけたフレーズに伴奏 を自動でつけてくれるAI 「自動作曲」のためのツール

   最近の音楽制作業界において AIの猛威は凄い。 右図は AI マスタリングソフト iZotope。 AWS参入で音楽制作もクラウド /AI化の流れが加速しそう！

10. 新サービスの前フリはあった JAWS-UG 福岡の内村さんが FBグループで異様にリピート 数の多いワークショップを 見つけていた そのワークショップ AIM223 が今回の DeepComposer

    の ワークショップになった！

11. おかげでDeepComposer、GETしてきました！ 内村さん、Thank you very much！ 実機持ってきたので、みなさん、触って下さい！！！

12. 米アマゾンでは 2020/3/16リリース予定で 予約受付されてます

13. DeepComposerをGETした喜びも つかの間… このTwitterの投稿写真に、 とんでもないものが紛れ込んで しまっていた… もうおわかりいただけただろうか？

14. None

15. （某 心霊番組 調）

16. コーヒーじゃない！！！

17. None

18. !!!

19. DeepComposer ≠ キーボード DeepComposer = Generative AI DeepLens・DeepRacerと違って、 MIDIデータをインプットすれば 自由に成果物を体験・シェアできる！

    （キーボードOEMかよ！というツッコミはナシよ。）

20. 要 注 意

21. コンソールに仮想キーボードもあるので 誰でも使える！試せる！！ Previewが待ち遠しいですね！

22. これだと内容が薄すぎるので、 ワークショップで得た内容をシェア

23. GANは産業界ではすでに、 機体や歯のプラントのモデリングで使われている

24. サンプルは「きらきら星」。右上の「モデル」から学習モデルを選択し、 「Generate Composition」を押すと、楽器の音が生成される。

25. 学習済みモデルとして、ジャズ/Pop/Rock/シンフォニーの他、 ジョナサンコールトン(プログラマーでシンガーソングライター. コーディングやギークカルチャーをテーマとする歌を謳ってる)が 用意されていた（アメリカン・ジョーク）

26. 作成した楽曲は、MIDIやMP3でのダウンロードの他、 SoundCloudでシェアできる。

27. deepcomposer で検索すると68曲あります。 クラスメソッド 宮島さんも15曲アップしてました。さすが…

28. カスタムモデルは、SageMaker（jupyter notebook）で作成

29. ２次元グラフ化 ピアノロールは、 　・時間 　・ピッチ を備えた2次元のグリッド として見ることができる 音楽を２次元データの グラフとして処理する！ ピアノと機械学習は相性が良い

30. https://www.freecodecamp.org/news/an-intuitive-introduction -to-generative-adversarial-networks-gans-7a2264a81394/ GAN（Generative Adversarial Networks） 貨幣の偽造者(Generator)と、それを見抜く警察(Discriminator) 2つのモデルを競合するように学習させていく

31. DeepComposer ワークショップでは 　GAN に WGAN-GP（Wasserstein GAN with Gradient Penalty） 　Generator

    ネットワーク構成に U-Net を採用して精度を高めているとのこと（お勉強中…）

32. aws-samples/aws-deepcomposer-samples

33. 所感 YouTuber 等、オリジナル音源を使いたい人にはマッチしそう。 プロも参考には使えるかも。 学習用に使う楽曲の著作権、GANで生成した音楽の著作権は　 どうなるのか？？？ 「音楽を編曲する」という目的が明確化されているので、　　　 GAN を学ぶキッカケには良さそう！

34. ヤマハ社のAI音声技術で美空ひばりの歌声を再現！ 大晦日 紅白で見られます！ https://www.itmedia.co.jp/news/articles/1911/14/news139.html ©NHK

35. [PR] 年末年始の夜のテレ東は、 　　 「三夜連続“美食晩餐会”」！ 12月31日 1月1日 1月2日 紅白は 「美空ひばりAI」 を見終わったら

    テレ東で「孤独のグルメ」を見てね！！

36. NOV30 - DEC4, 2020, Las Vegas