第59回名古屋CV・PRMU勉強会

ICCV2023現地参加報告レポート

Transcript

1. ICCV2023 -Paris, France- 現地参加報告 名城大学 堀田研M2 永田耕太郎 1
2. 自己紹介 名前：永田耕太郎(M2) 出身：愛知県西尾市 趣味：サウナ、散歩、ゴルフ 研究内容：Online Continual learning、 Classification 2
3. 学会の様子と参加した感想 ICCVで発表された研究の傾向 自分が発表した研究(簡単に) 論文紹介 まとめ 3
4. 学会の様子と参加した感想 ICCVで発表された研究の傾向 自分が発表した研究(簡単に) 論文紹介 まとめ 4
5. ICCVってどんな学会？ ICCV(International Conference on Computer Vision) CVPRに並ぶ世界三大国際会議 ECCVとICCVは交互に隔年開催 https://scholar.google.com/citations?view_op=top_venues&hl=en&vq=eng_computervisionpatternrecognition ※ECCV2024はイタリアのミラノ ECCV CVPR ICCVは世界中で開催 5
6. ICCV2023のスケジュール Day4 Day5 Day3 Day2 Day1 到着 出発 出発 帰国 Workshop Main conference 9/30 10/1 10/3 10/4 10/2 10/5 10/6 10/7 10/8 6
7. おしゃれな街パリ！ 7
8. おしゃれな街パリ！  ごはんはとてもおいしい！（物価は高い…） 8
9. ICCVの様子①  とにかく人が多くて大変… 9
10. ICCVの様子② ワークショップ会場(continual learning) 発表の様子 10
11. Workshopの数がすごい！  全部で35種類のworkshopが開催された(継続学習の採択率は38/44) 11
12. ICCVの様子③ オーラル会場 ポスター会場 12
13. 展示企業 13
14. 現地参加した感想(ポスター発表について)  発表の練習はもちろん議論する練習をしたほうがいい  原稿を覚えて読むだけだと質問に対応できない  怖がらずにどんどん話すことが大事  みんな意外ととても優しい 14
15. 現地参加した感想(聴講について)  聞きたいものを事前に調べないと困る（論文数が多い…）  個人的にはPoster発表を積極的に聞きに行くのがおすすめ  海外の研究者の温度感を知れるし、仲良くなれる  海外の人は研究熱心！ 15
16. 学会の様子と参加した感想 ICCVで発表された研究の傾向 自分が発表した研究 論文紹介 まとめ 16
17. 近年のICCVの傾向  論文投稿数、採択数は更新され続けており過去最高 17
18. 国ごとの論文採択数 845 339 127 7766 24 18  中国が圧倒的1位、日本は12位
19. 今年のICCVの傾向  CVPRに続き大規模モデル、Diffusion(141 / 2156)関連の論文が非常に多い印象 画像生成だけでなく、幅広い問題へ応用されている(物体検出、領域分割など)  3Dやロボット関連の研究発表が多かった印象  Transformerもまだ多い(147 / 2156) https://research-p.com/column/1468 19
20. 学会の様子と参加した感想 ICCVで発表された研究の傾向 自分が発表した研究 論文紹介 まとめ 20
21. ICCVWで発表した手法  Class Incremental LearningにおけるReplay methodの手法を提案  過去と現在のサンプルのClass imbalanceに注目した手法 21
22. 継続学習の問題点 … … Memoryにある画像 Memoryにある画像 22
23. ICCVWで発表した手法  学習可能な特徴ベクトル → 常に各クラスの情報を持った特徴ベクトルを学習に参加させる  新しいクラスへのマージンの付与 → 特徴量空間における広がりを抑制 23
24. 学会の様子と参加した感想 ICCVで発表された研究の傾向 自分が発表した研究 論文紹介 まとめ 24
25. Best Paper Honorable Mention  “Segment Anything”  1100万枚の画像と10億以上のアノテーションマスクによって訓練されたモデルSAMの開発  zero-shotでのセグメンテーションやedge detectionが可能 25
26. Best Paper Honorable Mention  “Segment Anything” 26
27. Best Paper Honorable Mention  “Segment Anything” 27
28. Diffusion model 正解ラベルのノイズを加え(forward process)、ノイズを取り除くよう に学習することで画像を生成できるようにする手法 28
29. Best Paper Award  “Adding Conditional Control to Text-to-Image Diffusion Models”  大規模生成モデルに空間条件付け制御を行うアーキテクチャ(ControlNet)を追加  エッジや人間のポーズから画像を生成することができる(次世代Pix2Pix？) 29
30. Best Paper Award  zero convolutionによってノイズに左右されないパラメータの最適化が可能 30
31. Best Student Paper  “Tracking Everything All At Once” ビデオにおける動きの推定を行うためのTracking手法の提案 動画をCanonical 3D volumeという時空間表現を用いて表現し、ピクセル単位のトラッキング が可能 31
32. Best Student Paper  “Tracking Everything All At Once” 32
33.  Diffusionによる画像とセグメンテーションマスクの同時生成  自動でデータセットを構築できる Open-vocabulary Object Segmentation with Diffusion Models 33
34. Stable diffusionにFusion Moduleを取り付ける 画像、テキスト間で埋め込み特徴を整合させるように学習 Open-vocabulary Object Segmentation with Diffusion Models 34
35. DiffusionDet: Diffusion Model for Object Detection  Diffusionを物体検出に応用  学習段階において、大量のバウンディングボックスをノイズとして正解ラベルに 近づけていくように学習 35
36. Online Prototype Learning for Online Continual Learning  継続学習における問題点Shortcut learningの定義  書くクラスのPrototypeを用いた対照学習で上記の問題を解決 36
37. Online Prototype Learning for Online Continual Learning  継続学習における問題点Shortcut learningの定義  書くクラスのPrototypeを用いた対照学習で上記の問題を解決 37
38. AREA: Adaptive Reweighting via Effective Area for Long-Tailed Classification 38  Long tail(Class Imbalance)な分布のデータに対する提案  埋め込み空間における特徴量の広がりを意識  サンプル数とcos類似度から面積を推定し重みづけを行う
39. 学会の様子と参加した感想 ICCVで発表された研究の傾向 論文紹介 まとめ 39
40. まとめ  大規模モデルや生成モデルを応用していろんなタスクに応用していた  精度を上げるという研究より新しいことをする研究が評価されている  国際学会は得るものが多い(研究、言語諸々)  みんなとにかく挑戦してみるのがおすすめ  海外での体調管理が大事 40