23回アルゴリズムコンテスト 1位解法

2019年12月19日に大分大学で開かれたPRMU研究会における発表資料になります。

Transcript

1. ճΞϧΰϦζϜίϯςετ
   Ґ ղ๏
   ஜ೾େֶ ৘ใֶ܈ ৘ใՊֶྨ ೥
   ஜ೾େֶώϡʔϚϯίϯϐϡςʔγϣϯݚڀࣨ ॴଐ
   OBPLJLBUTVSB!IDPNQDTUTVLVCBBDKQ
   ܡ ঘً
   13.6ݚڀձ!େ෼େֶ
   
   

   View Slide

2. ίϯςετ֓ཁ
   ίϯςετͷظؒɿ d ʢϲ݄ʣ
   ՝୊಺༰ɿ (
   + 48
   & + 3!%!%
   '(")accuracy*
   +
   $#+ 119,997
   &#+ 16,387
   1+ 388,146
   

   View Slide

3. લॲཧ
   

   View Slide

4. લॲཧ
   標準正規分布の確率密度関数
   を[-1, 1]の区間で等間隔で
   サンプリングしたベクトル。
   二値化画像を横に合計を取っ
   たベクトルを見ると、文字部
   分は山状になっている。
   

   View Slide

5. Ϟσϧͷશମ૾
   

   View Slide

6. ݁Ռ
   手元で評価（
   Cross validation
   ）した時の認識率は、
   ResNet < OctConv ResNet < DenseNet < Inception-v4 < SE-ResNeXt
   となった。
   モデル 認識率
   OctConv ResNet50(
   事前学習無し
   ) 89.59%
   SE-ResNeXt101(
   事前学習有り
   ) 90.23%
   アンサンブル
   (SE-ResNeXt, DenseNet, Inception-v4)
   90.63%
   順位 最終結果のスコア
   1
   位 90.63%
   2
   位
   89.35%
   3
   位
   88.95%
   

   View Slide

7. ޻෉఺
   Random CropやRandom Shiftといった基本的な
   Augmentationに加え、分割位置に対してロバストにな
   るように前処理によって得られた分割位置を学習時にラ
   ンダムで上下に少しずれるような処理を行なった。
   また、学習率のスケジューリングをWarmupとRestart有
   りCosine Annealingにすることで収束速度と精度が共に
   向上した。
   

   View Slide

8. ࣮ݧઃఆ
   ࠷ऴతʹ͸ɺϞσϧͷΞϯαϯϒϧʢՃॏฏۉʣͨ͠΋ͷ͕࠷ߴਫ਼౓ͱͳͬͨɻϞσϧ͸ɺಛ௃ྔந
   ग़Λߦ͏CBDLCPOF͕ҟͳΔ͚ͩͰ͋Γɺ͜ΕΒ͸શͯ*NBHF/FUͰࣄલֶश͞Ε͍ͯΔɻ
   ˔ CBDLCPOFɿ 4&3FT/F9U %FOTF/FU *ODFQUJPOW
   ˔ ଛࣦؔ਺ɿ $SPTT&OUSPQZ-PTT
   ˔ όοναΠζɿ
   ˔ ࠷దԽؔ਺ɿ NPNFOUVN4(%ʢNPNFOUVN XFJHIUEFDBZʣ
   ˔ εέδϡʔϥɿ 4(%3ʢMSɿd FQPDIDZDMFʣ
   ˔ ೖྗղ૾౓ɿY
   ˔ FQPDI਺ɿ
   ˔ (16ɿ 5FTMBW (#
   (59 (#
   
   ˔ ͦͷଞɿ.JYFE1SFDJTJPOͰֶश
   

   View Slide

9. ·ͱΊ
   ● モデルは、特徴量抽出器としてImageNet等で成果を出しているCNNアーキテクチャ、クラス分類
   器としては、隣接した画像の特徴を考慮するためにGRUを使用したネットワークを結合した構成。
   ● 前処理では、大津の二値化をしようして、良さそうな分割位置を推定。
   ● 分割位置に対してモデルがロバストに学習できるように学習時にランダムで位置を変化させる。
   ● 学習率をSGDRで変化させると大幅に精度と収束速度が上昇。
   ● 最も精度が高くなったモデルは、SE-ResNeXt, DenseNet, Inception-v4をアンサンブルさせたモ
   デル。
   コードは公開しております。 https://github.com/katsura-jp/alcon23
   

   View Slide