2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 1/19 ディープラーニングブーム ディープラーニングブーム は続くのか は続くのか ジーワークス 佐藤 潔 ⻑野ディープラーニング同好会やってます 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 2/19 ディープラーニングって ディープラーニングって よく聞くようになったけど よく聞くようになったけど もう結構たつから もう結構たつから ブームも終わる︖ ブームも終わる︖ 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 3/19 ディープラーニングとは ディープラーニングとは ⽣物の神経細胞の働きを模した 「ニューラルネット」の⼀種 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 4/19 ニューロン ニューロン 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 5/19 パーセプトロン パーセプトロン ニューロンという神経細胞モデルで脳をモデル化 最初期のニューラルネットワーク 基本的な学習⽅法はディープラーニングもだいたい同じ 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 6/19 バックプロパゲーション バックプロパゲーション パーセプトロンを多層にしても学習可能にした 教師信号が出⼒層から⼊⼒層へ向かって伝搬していくの でバックプロパゲーションと呼ばれる 層を増やすほど学習が収束しなくなる問題があった 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 7/19 ディープラーニング ディープラーニング バックプロパゲーションを単に多層にしてもうまく学習 が収束しなかった 技術的⼯夫により超多層でも収束するようになった 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 8/19 ニューラルネットのあゆみ ニューラルネットのあゆみ 1960年頃から︓第１次ニューラルネットブーム 「パーセプトロン」 １度⽬の冬（エキスパートシステム等） 1985年頃から︓第２次ニューラルネットブーム 「バックプロパゲーション」 ２度⽬の冬（SVMや機械学習等） 2010年頃から︓第３次ニューラルネットブーム 「ディープラーニング」 なぜかちょうど25年周期 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 9/19 ハイプサイクル ハイプサイクル 今が「過度な期待」絶頂期でここから落ちる予測 また「３度⽬の冬」が来てしまうのか︖ 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 10/19 ディープラーニングの ディープラーニングの ブーム以降での進化 ブーム以降での進化 画像認識 画像⽣成 翻訳 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 11/19 画像認識はすでに⼈間超え 画像認識はすでに⼈間超え ImageNetで⼈間のエラー率 5.1% 2015年 3.6%で⼈間超え 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 12/19 ねこ認識 ねこ認識 ねこを選択するCAPTCHA 「2007年」のマイクロソフトの研究 今ではまったく意味がないだろうが 当時は「ねこ認識」すら難しい課題だった 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 13/19 GANによる画像⽣成の進化 GANによる画像⽣成の進化 GAN(2014)／DCGAN(2016)／Style-Based GAN(2018) Style-Based GAN （1:10〜） https://www.youtube.com/watch?v=kSLJriaOumA 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 14/19 GANでアニメ絵⽣成の進化 GANでアニメ絵⽣成の進化 Crypkoで商⽤利⽤化 https://crypko.ai/ 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 15/19 翻訳精度の向上 翻訳精度の向上 英仏等だけでなく英中も 2018年には⼈間と同レベル 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 16/19 ⾔語タスク（⽂章⽣成） ⾔語タスク（⽂章⽣成） 同じネットワークで⽂章⽣成、QA、翻訳などできる ⽂章与えて「A:」とか「french sentence =」で 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 17/19 ディープラーニングの ディープラーニングの 進歩は続いてる 進歩は続いてる 分野によりすでに⼈間を超えている 今も新しい⼿法が出続けている 進歩がものすごく速い 今は「おもちゃ」と思えるものも3年後は︖ 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 18/19 ３度⽬の冬は来るのか ３度⽬の冬は来るのか 今から考える「１度⽬の冬」も「２度⽬の冬」も 計算機パワーと学習データ不⾜が問題だったのでは 「３度⽬の冬」は来ない気がする 研究の進歩が続いている ハードの⾼速化も⾏われている 実サービスで利⽤が進んでいる 

2019/2/27 localhost/test/deep/doc/index.html?print-pdf http://localhost/test/deep/doc/index.html?print-pdf 19/19 今度のディープラーニングは 今度のディープラーニングは ⼀過性のブームではなさそう ⼀過性のブームではなさそう なのでやっといて損はない なのでやっといて損はない