Backboneとしてのtimm2025

関東Kaggler会の発表資料
https://kanto-kaggler.connpass.com/event/362280/

timmの基本的な使い方から、timmの便利なモジュールの紹介、smpのTimmUniversalEncoderを参照しながら抽出できる特徴マップのバリエーション等を紹介しています。

Transcript

1. Backboneとしてのtimm2025 GOドライブ株式会社 内田祐介 (@yu4u)
2. © GO Drive Inc. 2 モデルの構造に興味があります！ https://www.slideshare.net/ren4yu/presentations https://speakerdeck.com/yu4u
3. © GO Drive Inc. 3 backboneとしてのtimm入門 ◼ みんな大好きな神資料 https://www.slideshare.net/TakujiTahara/20210817-lt-introduction-to-pytorch-image-models-as- backbone-tawara-249996209
4. © GO Drive Inc. 4 backboneとしてのtimm入門 ◼ みんな大好きな神資料 ◼ 改めて見てみたらこれでいいじゃんになった（完） https://www.slideshare.net/TakujiTahara/20210817-lt-introduction-to-pytorch-image-models-as- backbone-tawara-249996209
5. © GO Drive Inc. 5 timm ◼ PyTorch Image Models ◼ CNNからVision Transformerまで大量の画像認識モデル が学習済みの重みとセットで簡単に使える ▪ 便利な様々な機能がある https://github.com/huggingface/pytorch-image-models/
6. © GO Drive Inc. 6 どんなモデルがあるのか
7. © GO Drive Inc. 7 pretrainedモデルも色々 ①Fully Convolutional Masked Autoencoder (FCMAE) で学習して、 ②ImageNet-22kでfinetuneして、 ③最後にImageNet-1kでfinetuneしたよ ④入力画像サイズは384だよ とりあえずin22k_in1kを使っておけば良い ① ② ③ ④
8. © GO Drive Inc. 8 詳細はモデルカード参照 ◼ https://huggingface.co/timm/convnextv2_tiny.fcmae_ft_in22k_in1k_384
9. © GO Drive Inc. 9 クラス分類モデル (H, W, 3) (H/2, W/2) (H/4, W/4) (H/8, W/8) (H/16, W/16) (H/32, W/32) stage1 stage2 stage3 stage4 stem pool (1000,) GAP (1000,)
10. © GO Drive Inc. 10 入力チャネル・出力クラス数変更 (H, W, 5) (H/2, W/2) (H/4, W/4) (H/8, W/8) (H/16, W/16) (H/32, W/32) stage1 stage2 stage3 stage4 stem pool (10,) GAP (10,)
11. © GO Drive Inc. 11 特徴抽出後のヘッドを自分で定義したいとき (H, W, 3) (H/2, W/2) (H/4, W/4) (H/8, W/8) (H/16, W/16) (H/32, W/32) stage1 stage2 stage3 stage4 stem pool (1000,) GAP (512,)
12. © GO Drive Inc. 12 空間情報を活用したいとき (H, W, 3) (H/2, W/2) (H/4, W/4) (H/8, W/8) (H/16, W/16) (H/32, W/32) stage1 stage2 stage3 stage4 stem pool (1000,) GAP (512, 7, 7)
13. © GO Drive Inc. 13 マルチスケール特徴マップを使いたいとき (H, W, 3) (H/2, W/2) (H/4, W/4) (H/8, W/8) (H/16, W/16) (H/32, W/32) stage1 stage2 stage3 stage4 stem pool (1000,) GAP (256, 14, 14) (128, 28, 28) (512, 7, 7) (64, 56, 56) (64, 112, 112)
14. © GO Drive Inc. 14 特徴マップの情報
15. © GO Drive Inc. ◼ img_size ▪ 固定入力のみのモデル作成時に対応入力サイズを変更 ▪ 引数が非対応のモデルに入力するとエラーになる ◼ drop_rate ▪ クラス分類ヘッドのdropout率 ◼ drop_path_rate ▪ droppath (stochastic depth) のdrop率 15 その他のオプション
16. © GO Drive Inc. 16 Backboneだけじゃないtimm ◼ timm自体がImageNetでのモデル学習の再現を行うフレー ムワーク ▪ 様々な便利モジュールがある
17. © GO Drive Inc. 17 ModelEmaV3 ◼ Exponential Moving Average (EMA) ▪ 学習時に一定間隔 (step) 毎にEMAモデルをアップデート ▪ 汎化性能が向上 ▪ 最近は常に使っています
18. © GO Drive Inc. 18 ModelEmaV3 ◼ Exponential Moving Average (EMA)
19. © GO Drive Inc. 19 ModelEmaV3 https://github.com/yu4u/kaggle-czii-4th/blob/main/src/pl_module.py 減衰パラメータは 学習step数に応じて調整
20. © GO Drive Inc. 20 ModelEmaV3 ◼ Post-hoc EMAもちゃんと試してみたい https://speakerdeck.com/yu4u/post-hoc-ema-emanojian-shuai-parametanoshi-hou-zui-shi-hua
21. © GO Drive Inc. 21 create_optimizer_v2 ◼ optimizerのfactory関数 ▪ PyTorchにないoptimizerもあったりする 地味に便利 omegaconfのConfig コマンドラインから変更できて便利
22. © GO Drive Inc. 22 create_scheduler_v2 ◼ schedulerのfactory関数 epochではなく stepでupdate pytorch-lightning で使うときのおまじない batch_size, GPU数, grad_accを考慮した step数
23. © GO Drive Inc. 23 DropPath ◼ Stochastic depthとも ◼ skip connectionと組み合わせ、sample毎一定確率で入力をdrop ◼ 擬似的なアンサンブル効果を生み出し汎化能力向上
24. © GO Drive Inc. 24 他にも ◼ https://github.com/huggingface/pytorch-image- models/blob/main/timm/layers/__init__.py ◼ 見てみましょう！ ◼ オレオレモデルの実装をシンプルに
25. © GO Drive Inc. 25 smpのTimmUniversalEncoderに学ぶbackboneのパターン ◼ segmentation_models.pytorch (smp) ▪ 様々なセマンティックセグメンテーションモデルの実装 ▪ 個人的にはUNetばっかり。UPerNetも見ますね ▪ 損失関数や評価関数も色々ある ◼ TimmUniversalEncoder ▪ timmをセマンティックセグメンテーションモデルの汎用エンコ ーダとして利用するためのラッパークラス https://github.com/qubvel-org/segmentation_models.pytorch/
26. © GO Drive Inc. 26 TimmUniversalEncoderの大幅アップデートPR ◼ セマンティックセグメンテーションでは複数解像度の特 徴マップを利用する必要がある ◼ timmの出力特徴マップの形式は様々で TimmUniversalEncoderで吸収している ◼ このPRで利用できるtimmのモデルが大幅に増加 ▪ https://github.com/qubvel- org/segmentation_models.pytorch/pull/1004
27. © GO Drive Inc. 27 ポイント 特徴マップのテンソルが channel-firstかchannel-lastか 特徴マップリストの空間解像度のパターン https://github.com/qubvel- org/segmentation_models.pytorch/blob/main/segmentation_models_pytorch/encoders/timm_universal.py
28. © GO Drive Inc. 28 特徴マップリストの空間解像度のパターン ◼ 調べてみた https://www.kaggle.com/code/ren4yu/eda-timm-backbone-feature-info/notebook TimmUniversalEncoder対応バックボーン
29. © GO Drive Inc. 29 FeatureListNet? ◼ features_only=Trueでモデルを作ると FeatureListNet等でwrapされたモデルになる https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/_builder.py#L479-L491
30. © GO Drive Inc. 30 前回の発表タイトルは？
31. © GO Drive Inc. 31 今なら作れる！ ◼ TimmUniversal2.5DEncoder
32. © GO Drive Inc. 32 2.5Dモデル ◼ CZII 4th Solution ▪ 2Dエンコーダの各stageを部分的にforwardしつつ stage毎の出力をdepth方向にpoolする ▪ 2Dエンコーダ内でdepth方向のreceptive fieldを拡大できる
33. © GO Drive Inc. 33 2Dエンコーダの各stageを部分的にforward CZIIの実装はSwinTransformer前提の実装 汎用的なエンコーダにできるはず