SOTA競争から人間を超える画像認識へ

GPU UNITE 2025（2025/10/15開催）講演資料。
概要：ImageNetやCOCOなどのベンチマークは、精度競争を促すことで画像認識技術の発展を推進してきました。また、DNNの実用化が進むにつれ、推論速度・訓練エポック数などの推論効率・訓練効率を考慮した競争が行われてきました。本講演では、特に物体検出における技術開発競争の歴史を振り返るとともに、今後重要になる人間を超える画像認識について議論します。

Transcript

1. 株式会社ピンエーアイテクノロジー AI Imaging部/技術共創部 シニアリサーチャー 進矢 陽介 SOTA競争から人間を超える画像認識へ
2. 自己紹介 進矢 陽介 ピンエーアイテクノロジー （旧：センスタイムジャパン） シニアリサーチャー コンピュータビジョンの研究開発に従事 • 画像認識 • 物体検出 • 最近：オートフォーカス用物体追跡 • 画像生成、CG、AR • 最近：画像編集 OpenMMLabのcontributor 特にMMDetection 『コンピュータビジョン最前線 Summer 2025』 「イマドキノ物体検出」の執筆を担当
3. SOTA競争 画像認識技術は、SOTAを競うことで発展してきた SOTA：state-of-the-art • 近年の機械学習分野での意味：ベンチマークでの数値が最良なことを示すことが多い • 一般的な意味：「最先端の」、「最先端技術」 Cambridge Dictionaryでの定義： “very modern and using the most recent ideas and methods”
4. 精度競争
5. タスク紹介：画像分類・物体検出 画像分類 画像全体に対するカテゴリを出力する 入力解像度の例：224×224 [Tsung-Yi Lin+, ECCV 2014] 物体検出 各物体のカテゴリ・範囲を出力する 典型的には範囲を矩形で表す 入力解像度の例：1333×800 高解像度が位置推定や小物体検出に有利 計算効率が重視されやすい
6. ImageNet画像分類 https://web.archive.org/web/20250430135203/https://paperswithcode.com/sota/image-classification-on-imagenet 人間が頑張ると80%前後 備考：人間（Andrej Karpathy氏）の記録は、Top-5 error 5.1%。Top-5とTop-1の対応がCNN同様と仮定して換算した。 https://karpathy.github.io/2014/09/02/what-i-learned-from-competing-against-a-convnet-on-imagenet/
7. COCO物体検出 https://web.archive.org/web/20250530082451/https://paperswithcode.com/sota/object-detection-on-coco 2025/8 DINOv3: 66.1
8. 停滞している？ ベンチマークの問題 • 10年以上前から使われており、伸び代が小さい • デファクトスタンダードすぎて、ベンチマークの世代交代が起きなかった データセットの問題 • 量が小さい • アノテーション品質が高くない 人的リソース・計算リソースの配分の問題 • 言語モデル・マルチモーダルモデルに移行 • より発展的なCVタスクに移行 • 実用化・社会実装に移行
9. 推論効率を考慮した競争
10. 推論効率の重要性 自動運転 推論時間が1秒の場合、 時速60kmの車が約17m進む → 危険 スマートフォン 価格・サイズ・重量による制限大 メモリ使用量が大きいと動かない 消費電力が大きいとすぐ電池切れ https://www.youtube.com/watch?v=k82RwXqZHY8 推論効率も重要 例：推論時間・メモリ使用量・演算回数・パラメータ数・消費電力
11. 高速化に関する主要な物体検出手法の推移 • R-CNN等 画像 → 候補領域生成 → カテゴリ分類・位置推定 → 重複除去 → 検出結果 • YOLO等 画像 → カテゴリ分類・位置推定 → 重複除去 → 検出結果 • DETR等 画像 → カテゴリ分類・位置推定 → 検出結果 全体処理を単純化し高速化してきた ただし、精度が低下する場合がある カテゴリ分類・位置推定を担うDNNも設計次第 速度・精度を合わせて考慮して、手法・設計を決める必要がある
12. 速度・精度トレードオフ [Jonathan Huang+, CVPR 2017] 高速 高精度
13. 速度・精度トレードオフ改善方法 精度を犠牲にして速度向上 • 入力解像度縮小 • 層数・チャンネル数削減 • 枝刈り・量子化・低ランク近似等 • 知識蒸留（教師モデルから見た場合） （精度劣化） • バグ 速度を犠牲にして精度向上 • 入力解像度拡大 • 層数・チャンネル数増加 • TTA（推論時データ増幅） • アンサンブル 速度向上 • ハードウェアに合わせた 実装・演算・ライブラリ 精度向上 • データ改良（収集・増幅・生成・品質向上） • ロス改良 • 長期訓練 • 知識蒸留（生徒モデルから見た場合） 精度・速度の改良・調整 • 手法改良 • ネットワーク設計改良 • ハイパラ調整
14. 複合スケーリング 解像度・層数・チャンネル数をバランス良く調整 画像分類器EfficientNetで提案され、 同著者らが物体検出器EfficientDetに応用 A. 300エポック以上 https://openaccess.thecvf.com/content_CVPR_2020/html/Tan_Efficient Det_Scalable_and_Efficient_Object_Detection_CVPR_2020_paper.html https://arxiv.org/abs/1911.09070v4 CVPR版に記載無し（CVFで確認） 論文に書かれてない情報を察する力が必要 24エポック以下 推論効率は良いが訓練効率は悪い Q. EfficientDetの訓練エポック数は？ EfficientDet [Mingxing Tan+, CVPR 2020] arXiv v4以降に記載あり
15. 物体検出とスケーリング則 EfficientDetは以下を大きくして精度を向上させている • モデルサイズ • データセットサイズ • 訓練の計算量 • 入力解像度（訓練・推論の計算量に影響） その後流行したスケーリング則との差異： • ロスとの関係式を気にしない • データセットサイズ増加はデータ増幅による 言語データや画像全体に対するアノテーションと異なり、 Webから実データを大量入手できない
16. 長期訓練による精度向上 • 高精度で推論効率の良いモデルを追求する場合、 強いデータ増幅・正則化をかけ、長く訓練する • 学習終盤では強いデータ増幅をかけない YOLOX [Zheng Ge+, arXiv 2021]
17. 訓練効率を考慮した競争
18. 長期訓練の問題 開発効率の課題 • 訓練に時間がかかる • 試行錯誤数が減る → 大規模分散深層学習や収束高速化の技術が発展 • ImageNet訓練時間競争（2017年～） • 目標精度に到達する訓練時間を競うベンチマーク（DAWNBench、MLPerf Training Benchmark） 費用・環境・倫理面の課題 • 費用がかかる（GPU料金、電気代、…） • CO 2 排出量が多く環境に悪い • 一部の組織でないと研究できない • 科学の発展を阻害する “buying stronger results” Green AI [Roy Schwartz+, Communications of the ACM 2020] 訓練効率も重要
19. DETRの訓練エポック数競争 Deformable DETR [Xizhou Zhu+, ICLR 2021] • DETRは収束が遅い • 注意機構・クエリ等の分析・改良により収束高速化
20. DETRの訓練エポック数競争 • DETRは収束が遅い • 注意機構・クエリ等の分析・改良により収束高速化 arXiv 手法 DETR同等APに到達するエポック数 2020/5 DETR [Nicolas Carion+, ECCV 2020] 500 2020/10 Deformable DETR [Xizhou Zhu+, ICLR 2021] 50 2022/3 DINO [Hao Zhang+, ICLR 2023] 8 DINO [Hao Zhang+, ICLR 2023]
21. 訓練効率改善方法：事前学習 • 物体検出事前学習 • COCO • Objects365 • 画像分類事前学習 • ImageNet • 生成画像 • 自己教師あり学習事前学習 • DINOv3 計算量の大きな事前学習により、全体としての訓練効率を上げるという意味では、 ImageNet学習済みモデルも基盤モデルも同じ Objects365 [Shuai Shao+, ICCV 2019]
22. 訓練効率改善方法：その他 • 人間の知識の活用 • オープン語彙物体検出 検出対象が変わるごとに別モデルを訓練する必要が無い • オープンワールド物体検出・継続学習 • データプルーニング • GPU使用率向上の各種テクニック • アスペクト比分類 (aspect grouping, aspect ratio bucketing) ミニバッチ内にアスペクト比の近い画像が選ばれるようにする 応用：物体検出（2015年？～）、画像生成（2022年？～）
23. 発展的な取り組み USB [Yosuke Shinya, BMVC 2022] • 公平な比較のための訓練プロトコル・評価プロトコルを提案 • 長い訓練の結果を報告する際は、短い訓練での結果も報告するよう要求 LIMIT.Lab https://limitlab.xyz/ • 限定資源下におけるマルチモーダルAIモデルを構築する仮想国際連携拠点
24. 人間を超える画像認識へ
25. ベンチマークの利点・欠点 ベンチマークの利点： • 競争を促し技術進歩につながる • 条件を揃えることで差異の影響を分析できる ベンチマークの欠点： • ベンチマークは箱庭に過ぎず、箱庭の外での有効性が不明 対策：実応用に近いベンチマーク、複数データセットでの広範な評価 箱庭 箱庭 箱庭 人間の能力 https://web.archive.org/web/20250430135203/https://paperswithcode.com/sota/image-classification-on-imagenet https://web.archive.org/web/20250530082451/https://paperswithcode.com/sota/object-detection-on-coco
26. 人間を目標とする利点・欠点 画像認識ベンチマークの多くは、暗に人間を目標にしている 人間がアノテーションしたデータを使用し、人間を正解と見なす 人間を目標とする利点： • 人間の眼と脳は優秀である 地球上で生存する上で、高効率かつそこそこ適切に機能する • 教師あり学習と相性が良い 生命の進化を経て獲得された能力を知識蒸留できる 訓練時間：約40億年、教師数：1人～約80億人 • 人間ができることを模倣・代替できれば、その有用性がわかりやすい 例：自動運転 人間を目標とする欠点： • 人間ができないことの実現につながりにくい 人間を超える画像認識へ
27. 人間を超える画像認識：有名事例 じゃんけんロボット 何ができれば、どんな価値があるかを考えていく必要がある 人間にはできないが、人間に価値のある画像認識は何だろうか？ https://www.youtube.com/watch?v=ZVNnoOcohaU
28. 人間を超える画像認識：注目分野 新センサー • 人間を超えるセンシング（空間・時間・スペクトル） SSII 2025 OS2 https://speakerdeck.com/ssii 電脳・人間拡張 • 脳・計算機・眼・センサーを連携させる • 人間が機械に代替されないためにも必要 人間と機械が共生していく 文化・娯楽 • 「自動化して終わり」ではない
29. まとめ 物体検出における技術開発競争の歴史を振り返った • 精度競争 • 推論効率を考慮した競争 • 訓練効率を考慮した競争 画像認識の競争は今後も続く 人間ができることを自動化し代替していく 画像認識は自動化では終わらない！ 人間は最終目標ではない！ 人間を超えていきましょう！