【論文紹介】Don’t Buy it! Reassessing the Ad Understanding Abilities of Contrastive Multimodal Models

社内の論文読み会で使用した資料です。

元論文はこちらです。
https://aclanthology.org/2024.acl-short.77/
Anna Bavaresco, Alberto Testoni, and Raquel Fernández. 2024. Don’t Buy it! Reassessing the Ad Understanding Abilities of Contrastive Multimodal Models. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 870–879, Bangkok, Thailand. Association for Computational Linguistics.

Transcript

1. Anna Bavaresco, Alberto Testoni, Raquel Fernández, ACL2024 Soichiro MRUAKAMI（AI Lab NLP） Don't Buy it! Reassessing the Ad Understanding Abilities of Contrastive Multimodal Models スライド中の画像・表の一部は著者の発表資料・論文より引用 1
2. 概要 • 課題：既存データの負例は他事例から無作為抽出のためショートカットで解ける • 提案：敵対的な負例を新たに人手で作成し、既存モデルの性能調査 • 結果：既存SOTAモデル（Contrastive VLM）の性能はChance level程度 • 選定理由：創造的な制作物（広告、キャッチコピー、ユーモア 等）の理解や評価に興味がある 2
3. 研究の動機・広告理解とは • なぜ広告理解は面白い？ ◦ テキストや画像を融合した高度な情報伝達手段の１つの例 ◦ 長く印象に残るよう様々なテクニック （変わった見た目 , 比喩表現 等）が駆使されている ◦ 人工的に作られたものではなく（実験のためのデータでなく ?）、日常生活の中に自然に存在し ている • 様々な能力を必要とする挑戦的なタスク ◦ 物体検出、シーンテキスト検出 ◦ 比喩表現理解、画像・テキストの融合 • 広告理解の応用例 [Ji+, 2023] ◦ ターゲティング ◦ クリエイティブ自動生成 3
4. Ad Understanding @ NLP Community • Bavaresco et al., “Don’t Buy It! Reassessing the Ad Understanding Abilities of Contrastive Multimodal Models.” ACL2024 • Jia et al., “KAFA: Rethinking Image Ad Understanding with Knowledge-Augmented Feature Adaptation of Vision-Language Models.”, ACL2023 Industry Track • Kalra et al., “Understanding Advertisements with BERT.”, ACL2020 • Savchenko et al., “Ad Lingua: Text Classification Improves Symbolism Prediction in Image Advertisements.” COLING2020 4
5. 広告理解をどのように評価するか • The Pitt Ads Retrieval Task [Hussain et al., CVPR, 2017] • “What should you do, according to this ad?” ◦ positive: I should [Action] because [Reason] ◦ negative: 他の事例からランダムサンプリング 5
6. 先行研究: Contrastive VLMを用いた手法 [Jia+, ACL2023] • Highest zero-shot accuracy: 95.2% • 広告理解の問題は解決されたのか 6
7. 既存評価データの問題点に対する指摘 • 説明文と広告画像中のテキストに有意な重複がある [Kalra+, 2020] ◦ Finetuned BERTで簡単にpos/negを見破ることができる • 評価データにHard negativeが不足している [Jia+, 2023] ◦ 今後の課題として評価データを拡張することを挙げた 7
8. 既存評価データの定量分析：Grounding scores • 既存評価データに潜むショートカットを明らかにするために２つの観点で分析 ◦ 仮説：Pos事例に比べてNeg事例はテキスト的・視覚的な根拠が著しく乏しい • Textual-grounding scores ◦ Text overlap: 画像中テキストと説明文の内容語の重複度 ◦ Text similarity: 画像中テキストと説明文のコサイン類似度 • Visual-grounding scores ◦ Object mention: 物体検出されたObject (名詞) が説明文に含まれる割合 ◦ Caption similarity: 生成された画像キャプションと説明文のコサイン類似度 画像 w/ OCRテキスト 説明文（ Explanation） I should buy a [brand name] because I will not need the wires. 8
9. 既存評価データの定量分析：Grounding scores（結果） • Pitt Ads datasetの評価セットに対して各スコアの平均を算出 • 仮説（Neg事例はテキスト的・視覚的な根拠が著しく乏しい）通りの結果を確認 • 既存手法は単純な画像-テキストアライメントでタスクを解いている？ 9
10. 既存評価データの定量分析：CLIPスコアとの相関 • Grounding scoresとCLIPスコアの有意な相関関係を確認 Grounding scores Spearman 10
11. TRADE: TRuly adversarial AD-understanding Evaluation • 敵対的なNegative事例を含む新たな評価セットを提案 ◦ 既存モデル（VLM）が単純な画像-テキストアライメントを超えて 、どの程度広告画像を理解で きるか評価したい • 特徴 ◦ Pitts Ad datasetから300事例をランダムにピックアップ ◦ In-house annotatorによりNegative事例を注意して作成 • データ形式 ◦ （広告画像, Pos説明文, Neg説明文1, Neg説明文2） 11
12. データセット構築方法 • 4名のアノテータ • 指示内容 ◦ 画像中の物体やテキストへ言及しながら 尤もらしくない 説明をつくること ◦ 文長はPositive事例と同じくらいにすること ◦ [Action]の動詞はPositive事例と同じにすること 12
13. データセットの妥当性確認 • データセットの妥当性を2つの方法で確認 ◦ 前述のGrounding scoresの算出 ▪ Pos/Neg事例のスコアのギャップは解消された ◦ 人手評価: 94%の正解率 （2人の評価者による平均正解率） 13 Grounding Scores
14. TRADE-control • 先行研究の実験設定を再現するために、 Negative事例として他の広告説明文 （Positive事例）からランダムサンプリングしたデータセット 14 データセット 負例の作成方法 TRADE 人手で敵対的負例を作成する TRADE-control 他事例の説明文（正例）からランダム抽出
15. 実験 • 比較モデル （Contrastive pretained VLMs w/ zeroshot setting） ◦ CLIP, ALBEF, LiT, ALIGN • 評価データ ◦ TRADE, TRADE-control • 評価方法 ◦ 各モデルで画像-テキストのアライメントスコアを算出 ◦ 各ペア（画像-{Pos1, Neg1, Neg2}）のスコアのうち、最も高 いものをモデルが予測した Positive事例とする • 評価指標 ◦ 評価データにおける平均正解率 15 アライメントスコアの算出
16. 結果 • TRADE設定ではChance level程度 ◦ 画像−テキストの類似度だけでは解けない → 既存モデルの問題点を指摘 • control設定ではAccuracyが極めて高い ◦ 単なる画像−テキストの類似度だけで解けている 16
17. 予測結果の例 17
18. モデル予測が正解した事例の分析 • Grounding scoresが比較的高い事例で予測が正解しているケースが多い 18
19. まとめ • 課題：既存データの負例は他事例から無作為抽出のためショートカットで解ける • 提案：敵対的な負例を新たに人手で作成し、既存モデルの性能調査 • 結果：既存SOTAモデル（Contrastive VLM）の性能はChance level程度 ◦ zero-shot性能の解釈には注意が必要。評価データがどう作られたか目を向けよう。 • 今後の課題 ◦ モデルが広告を”理解している”とはどのような能力が必要と定義すればよいか。また、それら を真に評価するにはどうすればよいか。 ◦ 検索ベース手法の限界として、タスク特有の指示を与えることができないが挙げられる。生成 ベース手法の探求も面白い方向性の一つ。 19