[第55回 NLPコロキウム] コンピュータビジョン分野での評価設計と分析の研究について

NLPコロキウムの発表資料です。
コンピュータビジョンの評価に関する研究を２件紹介します。

[論文1] (CVPR 2022) [論文2] (CVPR 2023)

Transcript

1. 2024/03/27 第55回 NLPコロキウム コンピュータビジョン分野での 評価設計と分析の研究について サイバーエージェント AI Lab 大谷まゆ
2. 大谷まゆ サイバーエージェント AI Lab • -2018 PhD@NAIST • 2018- 現職 • コンピュータビジョン領域で評価を少々 このベンチマークは本当に性能の変化を 反映してる？
3. CVにおける評価を対象とした研究 • 未検証のままなんとなく広まった評価が使われていることが多い • 隙が多いので研究ネタは見つけやすい • 映像要約のベンチマークはいくらでも評価値の操作ができる[CVPR’18] • 動画内シーン検出は動画を使わずにSOTA並のスコアが出る[BMVC’20]
4. 本日のトピック 1. 我々は人手評価を雰囲気でやってる [CVPR’23] • 標準的なAMTでの人手評価方法を確認した 2. これまで物体検出の良さはどのように考えられてきたか [CVPR’22] • 常にmAPでいいんだっけ？ • 検出結果の良さを別の観点から定義してみる
5. 画像生成の評価 大量の論文が自己流で人手評価をしている Rank the images Score the image 1 2 3 Which is better? vs 無数の自己流人手評価
6. ほとんどの自己流人手評価は信頼性に問題があり 集めたデータの品質チェックしてない 実験の詳細が書かれていない 評価実験の実装を公開しない 最近の論文37本を調査
7. 今回やったこと • いくつかの標準的な設定でAMTを使った人手評価を実施 • ノウハウの共有 • 評価タスクの実装例 • 人手評価報告用テンプレート • FID（自動評価指標）と人手評価指標の比較
8. 人手評価報告用テンプレート とりあえずこれぐらいの項目を報告するようにしたらどうでしょう？
9. 自動評価指標と人手評価は全然一致しなかった よく知られているがあらためて確認 Human evaluation FID Stable Diffusion GLIDE CogView2 LAFITE CogView2 Stable Diffusion LAFITE GLIDE Stable Diffusion CogView2
10. Real Image CLIPScoreでプロンプトとの一致度を評価 CLIPScoreを生成画像評価に使うのは誤用？ Human evaluation CLIPScore Stable Diffusion GLIDE CogView2 LAFITE CogView2 Stable Diffusion LAFITE GLIDE Real Image Better than real images?
11. 人手評価をもう少しちゃんとしていきたい 課題 • 人手評価は気を使わないとゴミデータが簡単に集まる • あまりノウハウが浸透していない • そこまで手がまわらない 今後に期待 • （自動評価同様に）標準化されるとコミュニティにとって嬉しいのでは
12. Mean Average Precision (mAP) データセット全体におけるクラスごとのランキング性能 Recall Precision 1st 2nd 3rd Ranking of detected instances for cat
13. Mean Average Precision (mAP) データセット全体におけるクラスごとのランキング性能 Recall Precision Cat 0.6 Car 0.4 Dog 0.5 0.54 AP mAP 1st 2nd 3rd Ranking of detected instances for cat
14. Mean Average Precision (mAP) データセット全体におけるクラスごとのランキング性能 Recall Precision 1st 2nd 3rd Ranking of detected instances for cat Most confident
15. やりたいことってランキングだっけ？ コンテンツベース検索はランキングっぽい Find all images of cats データベース ユーザ 正解検出結果が上位に来れば目的が達成できる
16. やりたいことってランキングだっけ？ 車載システム、OCR、レイアウト認識 etc. は？ 20%オフ クーポン •画像ごとの評価は独立 •取りこぼし、過剰な検出が場合に よっては重大なエラーになる ランキングとして評価が合わないアプリケーションもある
17. 最適輸送コストで検出結果と真値の差異を計測 Optimal Correction Cost (OC-Cost) Cat Dog Cat Dog Cat
18. 評価指標の良さってどう考える？ • 評価の”正しさ”をメタに評価することは多くの場合できない • とりあえず人手評価（？） • 評価の要求をどの程度充足するか 許容すべき誤差は？ どんな種類の誤差があり得る？ テストデータはどの程度必要？ 評価の目的は？ 詳細な分析/モデルの順位付
19. 物体検出の評価指標OC-Costの場合 評価指標が充足する要求 • 物体検出における多様なエラーを反映する • ラベル誤り、位置ずれ、検出漏れ、過剰な検出 • それぞれのエラーの重要性はユーザが決める（想定アプリケーションが特定 できないので） • 画像１サンプルごとに独立に評価、つまり他の画像の結果に影響されない • 確信度の低い検出結果の評価値に対する影響は小さく
20. 物体検出の評価指標OC-Costの場合 評価指標が充足する要求 • 物体検出における多様なエラーを反映する • ラベル誤り、位置ずれ、検出漏れ、過剰な検出 • それぞれのエラーの重要性はユーザが決める（想定アプリケーションが特定 されないので） • 画像１サンプルごとに独立に評価、つまり他の画像の結果に影響されない • 確信度の低い検出結果の評価値に対する影響は小さく mAPはこれらの要求を 充足しているか？
21. まとめ • 評価の整備はやれることが多い • より良い評価を実現するには？ • 評価の目的・対象を明確にする • 良い評価は評価の要求を充足するもの
22. 今日紹介した研究の文献 Otani, M., Togashi, R., Nakashima, Y., Rahtu, E., Heikkilä, J., & Satoh, S. (2022). Optimal correction cost for object detection evaluation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 21107-21115). Otani, M., Togashi, R., Sawai, Y., Ishigami, R., Nakashima, Y., Rahtu, E., Heikkilä, J., & Satoh, S. (2023). Toward verifiable and reproducible human evaluation for text-to- image generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 14277-14286).