Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DeepComposer ~ Hello GAN World ~ / DeepComposer, Hello GAN World

85239fdba854d6dc252e1f05daeeb0a3?s=47 y-danno
December 09, 2019

DeepComposer ~ Hello GAN World ~ / DeepComposer, Hello GAN World

AWS re:Invent 2019 Recap JAWS-UG 横浜
#jawsug #jawsugyokohama #deepcomposer

85239fdba854d6dc252e1f05daeeb0a3?s=128

y-danno

December 09, 2019
Tweet

Transcript

  1. 2019/12/10 JAWS-UG横浜 #19 AWS re:Invent 2019 Recap いま何かと話題の… DeepComposer ~

    Hello GAN World ~ TV TOKYO Corporation 段野 祐一郎 (@ydanno)
  2. このスライドは connpass上に アップしています!

  3. 情シス 局長 0.997 段野 祐一郎 @ydanno Media-JAWS 運営 株式会社テレビ東京 動画配信技術、データ分析基盤、

    人材育成・採用、技術戦略 担当 AWS re:Invent 3 回目 (2017, 2018, 2019) 戦績:-$88, 累計:-$278 今年は会社から初めて2名で参加 平社員 0.999
  4. 私) Media Servicesのアップデート期待! ↓ 初日のAWS Experts MTG AWS )「そんなの一個もないよ」 ↓

    完 制作・著作 ━━━━━ ⓃⒽⓀ
  5. 例年以上に全力で 楽しんできました! チキン大食い競争 Tatonka 4K/8K チャリティラン AWS Global User Group

    MTG ワークショップ x 5  DeepComposer, DeepLens, IoT dispenser,  AI/ML for Media, WEB AR by Sumerian 超高所絶叫マシーン Insanity AWS主催音楽FES Intersect
  6. 今回一番推しの発表は、AWS Local Zones !!! 放送運行のような低遅延処理が求められるシステムでは必須 アメリカ放送局FOXが導入を予定していると発表

  7. 今回の LT テーマは ワークショップにも参加した DeepComposer !

  8. Deep 3姉弟 ※イメージ ・教師あり機械学習モデルで  しっかりものの長女 DeepLens ・強化学習モデルで  やんちゃな次男 DeepRacer ・教師なし機械学習モデル、GAN学習用の  音楽好きで真面目な三女

    DeepComposer すべての開発者に機械学習を イタズラ好きでわんぱく。 頭の回転は早く行動力や判断力も高い 明るく陽気でしっかりものだが、 一方でおっちょこちょい 心優しく、真面目 想像力が豊かで即興の歌を作る才能 ©フジテレビ
  9. AWS DeepComposer 開発者が Generative AI で 作成されたモデルを使って 自分でつけたフレーズに伴奏 を自動でつけてくれるAI 「自動作曲」のためのツール

    最近の音楽制作業界において AIの猛威は凄い。 右図は AI マスタリングソフト iZotope。 AWS参入で音楽制作もクラウド /AI化の流れが加速しそう!
  10. 新サービスの前フリはあった JAWS-UG 福岡の内村さんが FBグループで異様にリピート 数の多いワークショップを 見つけていた そのワークショップ AIM223 が今回の DeepComposer

    の ワークショップになった!
  11. おかげでDeepComposer、GETしてきました! 内村さん、Thank you very much! 実機持ってきたので、みなさん、触って下さい!!!

  12. 米アマゾンでは 2020/3/16リリース予定で 予約受付されてます

  13. DeepComposerをGETした喜びも つかの間… このTwitterの投稿写真に、 とんでもないものが紛れ込んで しまっていた… もうおわかりいただけただろうか?

  14. None
  15. (某 心霊番組 調)

  16. コーヒーじゃない!!!

  17. None
  18. !!!

  19. DeepComposer ≠ キーボード DeepComposer = Generative AI DeepLens・DeepRacerと違って、 MIDIデータをインプットすれば 自由に成果物を体験・シェアできる!

    (キーボードOEMかよ!というツッコミはナシよ。)
  20. 要 注 意

  21. コンソールに仮想キーボードもあるので 誰でも使える!試せる!! Previewが待ち遠しいですね!

  22. これだと内容が薄すぎるので、 ワークショップで得た内容をシェア

  23. GANは産業界ではすでに、 機体や歯のプラントのモデリングで使われている

  24. サンプルは「きらきら星」。右上の「モデル」から学習モデルを選択し、 「Generate Composition」を押すと、楽器の音が生成される。

  25. 学習済みモデルとして、ジャズ/Pop/Rock/シンフォニーの他、 ジョナサンコールトン(プログラマーでシンガーソングライター. コーディングやギークカルチャーをテーマとする歌を謳ってる)が 用意されていた(アメリカン・ジョーク)

  26. 作成した楽曲は、MIDIやMP3でのダウンロードの他、 SoundCloudでシェアできる。

  27. deepcomposer で検索すると68曲あります。 クラスメソッド 宮島さんも15曲アップしてました。さすが…

  28. カスタムモデルは、SageMaker(jupyter notebook)で作成

  29. 2次元グラフ化 ピアノロールは、  ・時間  ・ピッチ を備えた2次元のグリッド として見ることができる 音楽を2次元データの グラフとして処理する! ピアノと機械学習は相性が良い

  30. https://www.freecodecamp.org/news/an-intuitive-introduction -to-generative-adversarial-networks-gans-7a2264a81394/ GAN(Generative Adversarial Networks) 貨幣の偽造者(Generator)と、それを見抜く警察(Discriminator) 2つのモデルを競合するように学習させていく

  31. DeepComposer ワークショップでは  GAN に WGAN-GP(Wasserstein GAN with Gradient Penalty)  Generator

    ネットワーク構成に U-Net を採用して精度を高めているとのこと(お勉強中…)
  32. aws-samples/aws-deepcomposer-samples

  33. 所感 YouTuber 等、オリジナル音源を使いたい人にはマッチしそう。 プロも参考には使えるかも。 学習用に使う楽曲の著作権、GANで生成した音楽の著作権は  どうなるのか??? 「音楽を編曲する」という目的が明確化されているので、    GAN を学ぶキッカケには良さそう!

  34. ヤマハ社のAI音声技術で美空ひばりの歌声を再現! 大晦日 紅白で見られます! https://www.itmedia.co.jp/news/articles/1911/14/news139.html ©NHK

  35. [PR] 年末年始の夜のテレ東は、    「三夜連続“美食晩餐会”」! 12月31日 1月1日 1月2日 紅白は 「美空ひばりAI」 を見終わったら

    テレ東で「孤独のグルメ」を見てね!!
  36. NOV30 - DEC4, 2020, Las Vegas