一風変わったニューラルネットの使い方

Transcript

1. ⼀⾵変わったニューラル ネットの使い⽅ Data Science Cafe 2020/11/24 ⼭内隆太郎 © 2020 ALBERT Inc. 1
2. 突然ですが問題です 2, 4, 6, 8, ? © 2020 ALBERT Inc. 2 はじめに 以下の︖に⼊る数字はなんでしょう
3. 答え 2, 4, 6, 8, 11 © 2020 ALBERT Inc. 3 はじめに 「規則のパラドックス」として知られる問題。このパラドックスが導くさらにラディカルな帰結が気になる⽅は、飯⽥隆『規則と意味のパラドッ クス』など読むとより混乱できると思います 10進数で表した各桁の和が偶数になる数を⼩さい順に並べたもの 11，13，15，17, … と続きます
4. 帰納の不可能性 n あくまで論理的可能性のみを問題にするのであれば、以下の命題は等価 Ø これまでに⾒てきたカラスはすべて⿊い。次に⾒るカラスは⿊いだろう Ø これまでに⾒てきたカラスはすべて⿊い。次に⾒るカラスは⽩いだろう © 2020 ALBERT Inc. 4 はじめに 1. https://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%A9%E3%82%B9 有限のサンプルで可能性を⼀つに絞るのは不可能 なんらかの仮説を設けることで仮説を絞ってやる必要がある これまでに観察したカラス アルビノのカラス[1] すべてのカラ スは⿊い…︖
5. 帰納バイアス ( Inductive bias ) 帰納バイアスの例 1. 単純なモデルほど良い（オッカムのカミソリ） 2. Y は X に⽐例する 3. 近い⼊⼒ X に対する出⼒ Y 同⼠はやはり近い などなど © 2020 ALBERT Inc. 5 はじめに 経験を⼀般化するために置かれる仮定 適切な帰納バイアスを選べばモデルは未知データに汎化する
6. ニューラルネットワークの表現⼒ ニューラルネットワークの普遍性定理 l 3層パーセプトロン（活性化関数はシグモイド関数）は任意の連続関数を好きな精度で近似で きる（パラメタを⼗分に増やせば） Understanding deep learning requires rethinking generalization[1] l Zhang et al. ICLRʼ17 l ランダムにラベルを付け替えたデータセットで CNN を訓練しても学習誤差を０にできる l DNN の汎化性能は従来の枠組みでは説明できない（ラデマッハ複雑度などで測ると DNN は とても悪いモデルということに） l 暗黙的な正則化がかかっている︖ © 2020 ALBERT Inc. 6 はじめに 1. https://arxiv.org/abs/1611.03530 多層ニューラルネットワークは表現⼒が⾼い DNNがデータに対して暗黙的に置いている仮定（帰納バイアス）が優れている︖
7. DNNの帰納バイアスをダイレクトに使う © 2020 ALBERT Inc. 7 はじめに DNNの学習プロセスそのものを問題解決に利⽤する 訓練データ 未知データ 学習 推論 ⼀般的な使い⽅ 問題 学習＝問題解決 ︖︖︖
8. Deep Image Prior © 2020 ALBERT Inc. 8
9. 書誌情報 n Dmitry Ulyanov, Andrea Vedaldi, Victor Lempitsky n CVPR 2018 n https://openaccess.thecvf.com/content_cvpr_2018/papers/Ulyanov_Deep_Ima ge_Prior_CVPR_2018_paper.pdf n CNN の構造⾃体が⼀般的な画像についての知識をすでに含んでいると主張 n 未学習 CNN を⽤いて、画像のノイズ除去、超解像などを⾏う © 2020 ALBERT Inc. 9 Deep Image Prior Deep Image Prior
10. アイディア © 2020 ALBERT Inc. 10 Deep Image Prior ! は U-Net 状の CNN. 画像 を CNN でパラメトライズする ! () が に近づくよう を更新していくだけ
11. 訓練中になにが起こるか © 2020 ALBERT Inc. 11 Deep Image Prior JPEG圧縮ノイズの除去 画像の内容に対してノイズの復元が遅れる⇒訓練を途中で⽌めればノイズ除去できる 元画像 DIPの学習経過 JPEG特有の圧縮ノイ ズが含まれている ノイズのない綺麗な 画像 JPEGノイズまで学習 される
12. 画像の性質と訓練速度 © 2020 ALBERT Inc. 12 Deep Image Prior “綺麗”な画像ほど速く loss が減少 適当なところで訓練をやめることで画像の”綺麗”な部分のみ取り出すことができる
13. 実験例１｜ノイズ除去 n ノイズのある画像を ! () で学習するだけ ⇒ 適当なタイミングで⽌めるとノイズが消える © 2020 ALBERT Inc. 13 Deep Image Prior ノイズ除去の SOTA ⼿法に匹敵
14. 実験例２｜超解像 © 2020 ALBERT Inc. 14 Deep Image Prior (())が に近づくよう訓練 ⼤規模データセットで訓練されたDNN⼿法に匹敵
15. 実験例３｜⽋損補完 © 2020 ALBERT Inc. 15 Deep Image Prior ⽋損領域をマスクし loss に反映しないだけ
16. まとめ l CNN にとっての「学習のしやすさ」を利⽤することで、ノイズ除去や超解像などの課 題を（事前訓練抜きに）解くことができる l データによって学習しやすさが異なることが、帰納バイアスとして汎化を助けてい る︖ l 裏を返せば、 CNN にとってものすごく学習がむつかしいデータというのも存在する。 使いどころが⼤事（ただし⼀般的な画像では基本的にワークしてるぽい） © 2020 ALBERT Inc. 16 Deep Image Prior 綺麗な画像≒CNNにとって⾃然な画像
17. Deep Mapping © 2020 ALBERT Inc. 17
18. 書誌情報 n Li Ding, Chen Feng n CVPR 2019 (Oral) n https://arxiv.org/abs/1811.11397 n DNNを利⽤して点群の位置合わせを⾏う © 2020 ALBERT Inc. 18 Deep Mapping DeepMapping: Unsupervised Map Estimation From Multiple Point Clouds
19. アイディア ２つのネットワークを利⽤して問題を解く l L-Net Ø 与えられた点群に対して、センサの位置・向きを出⼒する Ø アーキテクチャは CNN． Ø 点群は D x 3 の配列として⼊⼒．D は点群ごとに異なるので global average pooling で辻褄合わせ l M-Net Ø L-Net の割り当てたセンサ位置をもとに、各点の位置をマップに書き込む Ø 座標に対してそこに点があるかどうかを学習．L-Net の位置合わせが間違っていると⽭盾（後述）が⽣じる Ø アーキテクチャは MLP． Ø 座標（３次元）を受け取り、そこに点があるかどうかを予測 © 2020 ALBERT Inc. 19 位置合わせが間違っていたら解けないはずの問題を解かせる M-Net が学習できる ⇒ L-Net の位置合わせは正しい
20. アイディア © 2020 ALBERT Inc. 20 Deep Mapping
21. ⽭盾 M-Net は…… l L-Net の位置合わせによって決まった各点の（グローバルな）座標に対しては１ l 上記の点とセンサの中間の座標については０ となるように Binary Cross Entropy で訓練される． © 2020 ALBERT Inc. 21 Deep Mapping センサと点の間にほかの点は存在しない︕ L-Net の位置合わせが間違い ⇒ 同じ点について 1/0 両⽅の値を出⼒せねばならない
22. L-Net を使う意味 © 2020 ALBERT Inc. 22 Deep Mapping NN による parametrize. L-Netを使わず各点群のセンサ座標を変数として初期化し，それを最適化してもよい （Direct optimization）が、 L-Net を間に挟む⽅がはるかにうまくいく DIP で を ! () で parametrize したのと似ている NN で parametrize することで様々な変数がゆるく関係することが重要︖
23. 実験結果｜2D © 2020 ALBERT Inc. 23 Deep Mapping
24. 実験結果｜3D © 2020 ALBERT Inc. 24 Deep Mapping 他⼿法は⼀部の点群の位置合わせに失敗している
25. まとめ l L-Net によってセンサー位置を parametrize する l M-Net にセンサー位置が満たすべき辻褄を表現させる l 直接の最適化がむつかしかった問題が， DNN を間に挟むことでうまくいくようになる l 実⽤性はそんなにない（時間がかかるし３次元だと失敗することも多い） l しかしこのアイディアはいろいろな課題に応⽤できると思う © 2020 ALBERT Inc. 25 Deep Mapping DNN で対象を parametrize することで最適化がうまくいく
26. おわりに DNN を単に経験を蓄える箱と考えるのはもったいない DNN のアーキテクチャは実世界についての知識（＝帰納バイアス）を持っており、これ を直接使うこともできる アーキテクチャや訓練⽅法を調整することでもっといろいろな知識・仮定を埋め込むこと ができる︖ ALBERT としてもより新しい DNN の利⽤法を模索していきたい © 2020 ALBERT Inc. 26 ニューラルネットは可能性に満ちている