Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

[第55回 NLPコロキウム] コンピュータビジョン分野での評価設計と分析の研究について

[第55回 NLPコロキウム] コンピュータビジョン分野での評価設計と分析の研究について

NLPコロキウムの発表資料です。
コンピュータビジョンの評価に関する研究を2件紹介します。

[論文1] (CVPR 2022) [論文2] (CVPR 2023)

大谷まゆ

April 05, 2024
Tweet

Other Decks in Research

Transcript

  1. 大谷まゆ サイバーエージェント AI Lab • -2018 PhD@NAIST • 2018- 現職

    • コンピュータビジョン領域で評価を少々 このベンチマークは本当に性能の変化を 反映してる?
  2. 物体検出の評価指標OC-Costの場合 評価指標が充足する要求 • 物体検出における多様なエラーを反映する • ラベル誤り、位置ずれ、検出漏れ、過剰な検出 • それぞれのエラーの重要性はユーザが決める(想定アプリケーションが特定 されないので) •

    画像1サンプルごとに独立に評価、つまり他の画像の結果に影響されない • 確信度の低い検出結果の評価値に対する影響は小さく mAPはこれらの要求を 充足しているか?
  3. 今日紹介した研究の文献 Otani, M., Togashi, R., Nakashima, Y., Rahtu, E., Heikkilä,

    J., & Satoh, S. (2022). Optimal correction cost for object detection evaluation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 21107-21115). Otani, M., Togashi, R., Sawai, Y., Ishigami, R., Nakashima, Y., Rahtu, E., Heikkilä, J., & Satoh, S. (2023). Toward verifiable and reproducible human evaluation for text-to- image generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 14277-14286).