Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ディープラーニングブームは続くのか

 ディープラーニングブームは続くのか

2019/2/16の「フリーテーマプレゼン大会 in GEEKLAB.NAGANO」の発表内容です。
ディープラーニングは一過性のブームなのか、それとも今後も続くものなのか、自分の意見を表明しています。

SATOH Kiyoshi

March 22, 2022
Tweet

More Decks by SATOH Kiyoshi

Other Decks in Technology

Transcript

  1. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 1/19 ディープラーニングブーム ディープラーニングブーム は続くのか は続くのか ジーワークス 佐藤

    潔 ⻑野ディープラーニング同好会やってます
  2. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 2/19 ディープラーニングって ディープラーニングって よく聞くようになったけど よく聞くようになったけど もう結構たつから もう結構たつから

    ブームも終わる︖ ブームも終わる︖
  3. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 3/19 ディープラーニングとは ディープラーニングとは ⽣物の神経細胞の働きを模した 「ニューラルネット」の⼀種

  4. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 4/19 ニューロン ニューロン

  5. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 5/19 パーセプトロン パーセプトロン ニューロンという神経細胞モデルで脳をモデル化 最初期のニューラルネットワーク 基本的な学習⽅法はディープラーニングもだいたい同じ

  6. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 6/19 バックプロパゲーション バックプロパゲーション パーセプトロンを多層にしても学習可能にした 教師信号が出⼒層から⼊⼒層へ向かって伝搬していくの でバックプロパゲーションと呼ばれる 層を増やすほど学習が収束しなくなる問題があった

  7. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 7/19 ディープラーニング ディープラーニング バックプロパゲーションを単に多層にしてもうまく学習 が収束しなかった 技術的⼯夫により超多層でも収束するようになった

  8. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 8/19 ニューラルネットのあゆみ ニューラルネットのあゆみ 1960年頃から︓第1次ニューラルネットブーム 「パーセプトロン」 1度⽬の冬(エキスパートシステム等) 1985年頃から︓第2次ニューラルネットブーム

    「バックプロパゲーション」 2度⽬の冬(SVMや機械学習等) 2010年頃から︓第3次ニューラルネットブーム 「ディープラーニング」 なぜかちょうど25年周期
  9. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 9/19 ハイプサイクル ハイプサイクル 今が「過度な期待」絶頂期でここから落ちる予測 また「3度⽬の冬」が来てしまうのか︖

  10. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 10/19 ディープラーニングの ディープラーニングの ブーム以降での進化 ブーム以降での進化 画像認識 画像⽣成

    翻訳
  11. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 11/19 画像認識はすでに⼈間超え 画像認識はすでに⼈間超え ImageNetで⼈間のエラー率 5.1% 2015年 3.6%で⼈間超え

  12. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 12/19 ねこ認識 ねこ認識 ねこを選択するCAPTCHA 「2007年」のマイクロソフトの研究 今ではまったく意味がないだろうが 当時は「ねこ認識」すら難しい課題だった

  13. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 13/19 GANによる画像⽣成の進化 GANによる画像⽣成の進化 GAN(2014)/DCGAN(2016)/Style-Based GAN(2018) Style-Based GAN

    (1:10〜) https://www.youtube.com/watch?v=kSLJriaOumA
  14. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 14/19 GANでアニメ絵⽣成の進化 GANでアニメ絵⽣成の進化 Crypkoで商⽤利⽤化 https://crypko.ai/

  15. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 15/19 翻訳精度の向上 翻訳精度の向上 英仏等だけでなく英中も 2018年には⼈間と同レベル

  16. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 16/19 ⾔語タスク(⽂章⽣成) ⾔語タスク(⽂章⽣成) 同じネットワークで⽂章⽣成、QA、翻訳などできる ⽂章与えて「A:」とか「french sentence =」で

  17. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 17/19 ディープラーニングの ディープラーニングの 進歩は続いてる 進歩は続いてる 分野によりすでに⼈間を超えている 今も新しい⼿法が出続けている

    進歩がものすごく速い 今は「おもちゃ」と思えるものも3年後は︖
  18. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 18/19 3度⽬の冬は来るのか 3度⽬の冬は来るのか 今から考える「1度⽬の冬」も「2度⽬の冬」も 計算機パワーと学習データ不⾜が問題だったのでは 「3度⽬の冬」は来ない気がする 研究の進歩が続いている

    ハードの⾼速化も⾏われている 実サービスで利⽤が進んでいる
  19. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 19/19 今度のディープラーニングは 今度のディープラーニングは ⼀過性のブームではなさそう ⼀過性のブームではなさそう なのでやっといて損はない なのでやっといて損はない