sprint16

Transcript

1. Sprint 16 論文紹介
2. 論文の選定 • Kaggleに取り組む過程で他のユーザーの使 用頻度が高く、中身を理解したいと考えて いたモデルに関する論文 • 画像分類のベンチマークでstate-of-the-artな モデルに関する論文
3. 対象のモデル 使用頻度が高いモデル → Resnet, EfficientNet 最新のモデル → BiT, Noisy Student
4. どんなもの？ 先行研究と比べて何がすごい？ 技術の手法や肝は？ 議論はある？ どうやって有効だと検証した？ 次に読むべき論文は？ ー ー ImageNetのデータセットでは最大152層3.57%の誤差を達成し、ILSVRC 2015の 分類問題コンペで1位を獲得。また、深い層の表現によってImageNet Detection、ImageNet Localization、COCO Detection、およびCOCO Segmentation でも第1位を獲得した。 shortcut connectionという機構を導入し、手前の層の入力を後ろの層に直接足 し合わせることで、この勾配消失問題を解決。 20層程度だったそれまでの深さとは比較にならない数の層の学習が可能。 Microsoft Researchによって2015年に提案されたニューラルネットワークのモ デル。深いニューラルネットワークの訓練を容易にするため、参照されてい ない関数を学習するのではなく、層の入力を参照して残差関数を学習する残 差学習フレームワークを提示する。 Deep Residual Learning for Image Recognition 画像認識のための深い残差学習 （2015） Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun https://arxiv.org/abs/1512.03385 2020/06/19
5. どんなもの？ 先行研究と比べて何がすごい？ 技術の手法や肝は？ 議論はある？ どうやって有効だと検証した？ 次に読むべき論文は？ ー ー ImageNet Large Scale Visual Recognition Challenge（ILSVRC） 2012で87.5%のトッ プ1精度、CIFAR-10で99.4%、Visual Task Adaptation Benchmark (VTAB)の19タス クで76.3%を達成。 大きいデータセットでモデルを事前学習し、BiTハイパーパラメータを調整す ることで高いスコアを獲得。ハイパーパラメータは入力画像の大きさ、 MixUPの使用有無、学習率スケジュールの3つのみ。 一般的な画像認識モデルで使用されているバッチノームやドロップアウト、 Weight Decayなどを使用せずに高スコアを獲得している。 2019年12月24日にGoogle Brainから発表されたモデル。大規模データによる事 前学習とターゲットタスクでのモデルの微調整によるパラダイムを再検討し、 Big Transfer (BiT)と呼ぶシンプルなレシピを提案する。 Big Transfer (BiT): General Visual Representation Learning BiT : 一般的な視覚表現学習 （2019） Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Joan Puigcerver, Jessica Yung, Sylvain Gelly, Neil Houlsby https://arxiv.org/abs/1912.11370 2020/06/19
6. どんなもの？ 先行研究と比べて何がすごい？ 技術の手法や肝は？ 議論はある？ どうやって有効だと検証した？ 次に読むべき論文は？ ー 活性化マップによると、複合スケーリングを用いたモデルは、より関連性の 高い領域に焦点を当てる傾向があり、単一次元スケーリングの場合はオブジ ェクトの詳細を把握することができていないことが精度を下げる要因なので はないか。 EfficientNet-B7というモデルは、ImageNet上で84.4%のトップ1、97.1%のトップ5の精 度を達成し、既存の最高のConvNetと比較して8.4倍の小型化と6.1倍の推論速度を実 現。また、CIFAR-100 (91.7%)、Flowers (98.8%)、その他3つのデータセットにおいて も、パラメータの数を桁違いに少なくすることで、高い伝達精度を実現。 複合係数を使用して、ネットワークの深さ/幅/解像度のすべての次元を一様 にスケーリングすること。 ConvNetを様々なリソース制約に合わせてスケーリングする方法は数多く存 在するも、効率的なスケーリング方法については未解決な問題だったが、ネ ットワークの幅、深さ、および解像度の3つを指定することでより良い効率 と精度を達成している。 ConvNetsにおいて、モデルのスケーリングを系統的に研究し、ネットワークの深さ、 幅、解像度のバランスを慎重にとることで、より良い性能が得られることを明らか にした。この観察に基づいて、単純でありながら非常に効果的なCompound Coefficient(複合係数)を使用して、深さ/幅/解像度のすべての次元を一様にスケーリ ングする新しいスケーリング手法を提案する。 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks EfficientNet：畳み込みニューラルネットワークのモデルスケーリングの再考 （2019） Mingxing Tan, Quoc V. Le https://arxiv.org/abs/1905.11946 2020/06/19
7. どんなもの？ 先行研究と比べて何がすごい？ 技術の手法や肝は？ 議論はある？ どうやって有効だと検証した？ 次に読むべき論文は？ ー ー ImageNet上で88.4%のトップ1精度を達成し、ロバスト性能のテストでは， ImageNet-Aのトップ1精度を61.0%から83.7%に，ImageNet-Cの平均破損エラー を45.7から28.3に，ImageNet-Pの平均フリップレートを27.8から12.2にそれぞ れ改善。 ラベル付けされたデータで教師モデルを訓練し、その教師モデルでラベルな しデータに対して擬似ラベルを付与。そしてラベル付きデータと擬似ラベル 付きデータを合わせ、さらに画像拡張によるノイズを加えて生徒モデルに学 習させ、その生徒モデルを教師モデルとする、というプロセスを繰り返し行 う。 精度だけでなく、高いロバスト性（外れ値の影響を受けず、イレギュラーな ことが起きたときでも推定性能が高い）の性能も良い。 ラベル付けされたデータが豊富な場合でも良好に動作する半教師付き学習ア プローチ。 Self-training with Noisy Student improves ImageNet classification ノイズあり自己学習による生徒のImageNet分類の改善 （2019） Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le https://arxiv.org/abs/1911.04252 2020/06/19