[NLP23] JaSPICE: Automatic Evaluation Metric Using Predicate-Argument Structures for Image Captioning Models

Slide 1

Slide 1 text

JaSPICE : 日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度和田唯我, 兼田寛大, 杉浦孔明慶應義塾大学 B8-3

Slide 2

Slide 2 text

o ⽇本語における画像キャプション⽣成のための⾃動評価尺度JaSPICEを提案 • Project Page: https://yuiga.dev/jaspice 提案:⽇本語における画像キャプション⽣成のための⾃動評価尺度 - 2 - クラウドソーシングサービスによる被験者実験を実施 • 被験者 : 100⼈ • 22,350サンプル収集相関係数にて他指標を上回る CIDEr << JaSPICE 0.31 0.50

Slide 3

Slide 3 text

JaSPICE: Automatic Evaluation Metric for Image Captioning Models - 3 - o pip install & dockerで簡単に実⾏できます o pycocoevalcapと同様の書き⽅で評価が実⾏できます

Slide 4

Slide 4 text

背景 : 画像キャプション⽣成では⽣成⽂の品質評価が重要 - 4 - 画像キャプション⽣成タスク : 画像を説明するキャプションを⽣成 • 視覚障害者の補助 [Gurari+, ECCV20] • 画像に関する対話⽣成 [White+, EMNLP21] • 画像に基づく質問応答 [Fisch+, EMNLP20] o 画像キャプション⽣成は様々な⽤途で社会応⽤されている円滑なモデル改良のためには⽣成⽂が適切に評価できる⾃動評価尺度が必要⾚い傘を差した⼈がベンチに座っている

Slide 5

Slide 5 text

問題設定 : ⽇本語での画像キャプション⽣成に対する⾃動評価 - 5 - o ⼊⼒ : 𝑖 番⽬の画像に対するモデルの出⼒ " 𝑦! と，画像に対する参照⽂ 𝑦!,# #$% & o 出⼒ : 参照⽂ 𝑦!,# #$% & に対して，対象⽂ " 𝑦! が適切であるかの評価値 o 尺度の評価 : ⼈間による評価との相関係数 Image Captioning Model 𝑦!,# #$% & " 𝑦! 評価値⼈間による評価相関係数による評価 𝑖 番⽬の画像

Slide 6

Slide 6 text

⽇本語を評価可能なシーングラフに基づく⾃動評価尺度は存在しない - 6 - o 𝑛-gramに基づく⾃動評価尺度 • 代表例: BLEU, METEOR, ROUGE, CIDEr → これらはいずれも⽇本語でも利⽤可 o SPICE [Anderson+, ECCV16] • 𝑛-gramに基づく評価尺度は⼈間による評価との相関が⾼くないことを報告 • Universal Dependency [Marneffe+, LREC14]に基づくシーングラフから評価 ⇒ ⽇本語キャプションを評価可能なシーングラフに基づく⾃動評価尺度は存在しない

Slide 7

Slide 7 text

JaSPICE: ⽇本語における画像キャプション⽣成のための⾃動評価尺度 - 7 - o 新規性 • ⽇本語キャプションを扱うことが可能 • SPICEとは異なり, 係り受け構造と述語項構造に基づきシーングラフを⽣成 • 同義語を利⽤したグラフの拡張⼿法を導⼊ o Japanese Scene Graph Parser (JaSGP)とGraph Analyzer (GA)から構成

Slide 8

Slide 8 text

提案⼿法 : Japanese Scene Graph Parser (JaSGP) - 8 - 1. ⼊⼒されたキャプション 𝑦 からJUMAN++ / KNPを通して述語項構造と係り受け構造を抽出 2. 述語項構造と係り受け構造から 10 種類の格を抽出し，ルールベースでシーングラフを構築 (10種類の格 … ガ格, ヲ格, ニ格, ト格, デ格, カラ格, ヨリ格, ヘ格, マデ格, 時間格)

Slide 9

Slide 9 text

提案⼿法が⽣成したシーングラフの⼀例 - 9 - o 「⼈通りの少なくなった道路で，⻘いズボンを着た男の⼦がオレンジ⾊のヘルメットを被りスケートボードに乗っている」に対するシーングラフ元画像 … 物体 … 関係 … 属性

Slide 10

Slide 10 text

GA : 同義語によるグラフ拡張 / Binary matching - 10 - o グラフ拡張: 同義語によるグラフ拡張 o Binary matching: 参照⽂群と対象⽂のシーングラフを⽐較 ⊗は⼆つのシーングラフのうち⼀致している組を返す演算⼦ 𝑇 𝐺 𝑥 ∶= 𝑂 𝑥 ∪ 𝐸 𝑥 ∪ 𝐾 𝑥 適合率再現率 JaSPICE

Slide 11

Slide 11 text

GA : Binary matchingによるJaSPICE値の計算 - 11 - 𝑇 𝐺 𝑥 ∶= 𝑂 𝑥 ∪ 𝐸 𝑥 ∪ 𝐾 𝑥 |𝑇 𝐺 𝑥 | はの数を指す … 物体 … 関係 … 属性参照⽂群対象⽂男被る帽⼦

Slide 12

Slide 12 text

GA : Binary matchingによるJaSPICE値の計算 - 12 - 参照⽂群対象⽂ • 参照⽂群: 𝑇 𝐺 {𝑦!,% } = 5 • 対象⽂: 𝑇 𝐺& ( 𝑦! = 4 • Matched: 4

Slide 13

Slide 13 text

GA : Binary matchingによるJaSPICE値の計算 - 13 - 参照⽂群対象⽂ 𝑃 = 4 4 , 𝑅 = 4 5 JaSPICE = 2 ⋅ 𝑃 ⋅ 𝑅 𝑃 + 𝑅 = 𝟎. 𝟖𝟗 • 参照⽂群: 𝑇 𝐺 {𝑦!,% } = 5 • 対象⽂: 𝑇 𝐺& ( 𝑦! = 4 • Matched: 4

Slide 14

Slide 14 text

被験者実験: 被験者100⼈から約2万サンプル収集 - 14 - o クラウドソーシングサービスにより評価を収集 • 被験者 : 100⼈ • 22,350サンプル収集 o 与えられた 1 枚の画像と，対応するキャプションの組に対してキャプションの適切さを 5 段階で評価．

Slide 15

Slide 15 text

Model SAT [Xu+, ICML15] ORT [Herdade+, NeurIPS19] ℳ'-Transformer [Cornia+, CVPR20] DLCT [Luo+, AAAI21] ER-SAN [Li+, IJCAI22] ClipCapmlp [Mokady+, 21] ClipCaptrm [Mokady+, 21] Transformer𝐿 ∈ {3,6,12} 実験: 10個のモデル，2種類のデータセットで評価 - 15 - ⼤規模⽇本語キャプションデータセット・画像数 : 164,062 ・キャプション数 : 820,310 STAIR Captions o 10個の標準的なモデルを訓練ロボットシステムにおける指⽰⽂データセット・画像数 : 1,080 ・指⽰⽂数 : 77,409 PFN-PIC

Slide 16

Slide 16 text

ü 全てのベースライン尺度において提案尺度が⼈間による評価との相関を上回る定量的結果 : 提案尺度が相関係数においてベースライン尺度を上回る - 16 - Pearson Spearman Kendall BLEU 0.296 0.343 0.260 ROUGE 0.366 0.340 0.258 METEOR 0.345 0.366 0.279 CIDEr 0.312 0.355 0.269 JaSPICE 0.501 0.529 0.413

Slide 17

Slide 17 text

ü 全てのベースライン尺度において提案尺度が⼈間による評価との相関を上回る定量的結果 : 提案尺度が相関係数においてベースライン尺度を上回る - 17 - Pearson Spearman Kendall BLEU 0.296 0.343 0.260 ROUGE 0.366 0.340 0.258 METEOR 0.345 0.366 0.279 CIDEr 0.312 0.355 0.269 JaSPICE 0.501 0.529 0.413 +0.135 +0.163 +0.134

Slide 18

Slide 18 text

定性的結果 : ⼈間による評価に近い値を出⼒ - 18 - o 説明⽂ : 「眼鏡をかけた⼥性が⻘い電話を操作している」 o ⼈間による評価 : 5 (とても良い) テスト集合において上位２％の値 → ⼈間による評価に近い値

Slide 19

Slide 19 text

英訳⽂にSPICEを適⽤するよりも良好な結果 - 19 - • SPICEservice : ⼀般的な機械翻訳システムによる翻訳⽂から得られたSPICE • SPICEtrm : JParaCrawl[Morishita+, LREC20]で訓練された Transformerによる翻訳⽂から得られたSPICE ü SPICEservice, SPICEtrm と⽐べ提案尺度の⽅が相関が⾼い Pearson Spearman Kendall SPICEservice 0.488 0.515 0.402 SPICEtrm 0.491 0.516 0.403 JaSPICE 0.501 0.529 0.413

Slide 20

Slide 20 text

Pearson Spearman Kendall SPICEservice 0.488 0.515 0.402 SPICEtrm 0.491 0.516 0.403 JaSPICE 0.501 0.529 0.413 英訳⽂にSPICEを適⽤するよりも良好な結果 - 20 - • SPICEservice : ⼀般的な機械翻訳システムによる翻訳⽂から得られたSPICE • SPICEtrm : JParaCrawl[Morishita+, LREC20]で訓練された Transformerによる翻訳⽂から得られたSPICE ü SPICEservice, SPICEtrm と⽐べ提案尺度の⽅が相関が⾼い +0.010 +0.013 +0.010

Slide 21

Slide 21 text

Ablation study : JaSGPの導⼊が最も性能向上へ寄与 - 21 - o (i) / (ii) : シーングラフ解析器をUDベース (SPICEと同様) に変更 o (i) / (iii) : グラフ拡張機能を削除 ü グラフ解析器JaSGPの導⼊が最も性能向上へ寄与条件 Parser グラフ拡張 Pearson Spearman Kendall (i) UD 0.398 0.390 0.309 (ii) UD ✔ 0.399 0.390 0.309 (iii) JaSGP 0.493 0.524 0.410 提案手法 JaSGP ✔ 0.501 0.529 0.413

Slide 22

Slide 22 text

Ablation study : JaSGPの導⼊が最も性能向上へ寄与 - 22 - o (i) / (ii) : シーングラフ解析器をUDベース (SPICEと同様) に変更 o (i) / (iii) : グラフ拡張機能を削除 ü グラフ解析器JaSGPの導⼊が最も性能向上へ寄与条件 Parser グラフ拡張 Pearson Spearman Kendall (i) UD 0.398 0.390 0.309 (ii) UD ✔ 0.399 0.390 0.309 (iii) JaSGP 0.493 0.524 0.410 提案手法 JaSGP ✔ 0.501 0.529 0.413 +0.102 +0.139 +0.104

Slide 23

Slide 23 text

まとめ - 23 - o ⽇本語における画像キャプション⽣成のための⾃動評価尺度JaSPICEを提案 o 新規性 • ⽇本語キャプションを扱うことが可能 • SPICEとは異なり, 係り受け構造と述語項構造に基づきシーングラフを⽣成 • 同義語を利⽤したグラフの拡張⼿法を導⼊

Slide 24

Slide 24 text

Project Page: JaSPICE - 24 - Project Page: https://yuiga.dev/jaspice

Slide 25

Slide 25 text

25 Appendix

Slide 26

Slide 26 text

問題設定 : シーングラフ - 26 - o キャプション 𝑦 におけるシーングラフ o 𝑂 𝑦 , 𝐸 𝑦 , 𝐾 𝑦 はそれぞれ 𝑦 に含まれる物体，関係，属性の集合を指す. o また 𝐶, 𝑅, 𝐴をそれぞれ物体，関係，属性の全体集合とすると，

Slide 27

Slide 27 text

問題設定 : シーングラフ - 27 - o キャプション 𝑦 におけるシーングラフ … 物体 … 関係 … 属性

Slide 28

Slide 28 text

問題設定 : シーングラフ - 28 - o キャプション 𝑦 におけるシーングラフ … 物体 … 関係 … 属性

Slide 29

Slide 29 text

問題設定 : シーングラフ - 29 - o キャプション 𝑦 におけるシーングラフ … 物体 … 関係 … 属性

Slide 30

Slide 30 text

問題設定 : シーングラフ - 30 - o キャプション 𝑦 におけるシーングラフ … 物体 … 関係 … 属性

Slide 31

Slide 31 text

Universal Dependency (UD) - 31 - • 異なる⾔語間で⼀貫した依存構造を提供するためのフレームワーク • SPICEではUDによる解析が⾏われている (Stanford Scene Graph Parser) UDによるパースの⼀例私は⾃然⾔語処理が⼤好きです ADP PRON PROPN ADP ADJ AUX

Slide 32

Slide 32 text

既存研究 : SPICEを⽇本語へ直接適⽤することは難しい - 32 - o ⽇本語へSPICEを直接適⽤する⼆つの⽅法 1. SPICEと同様UDを⽤いてシーングラフを⽣成 → UDは基本的な依存関係しか抽出できない → ⽇本語における「AのB」などの複雑な関係への対処が不⼗分 2. 翻訳器による英訳⽂からSPICEを計算 → TextCaps [Sidorov+, ECCV20]の問題設定のように，画像中の単語を翻訳することが不適切な場合がある ⇒ SPICEを⽇本語へ直接適⽤することは困難 A B ? ?

Slide 33

Slide 33 text

既存研究 : SPICEを⽇本語へ直接適⽤することは難しい - 33 - o ⽇本語へSPICEを直接適⽤する⼆つの⽅法 1. SPICEと同様UDを⽤いてシーングラフを⽣成 → UDは基本的な依存関係しか抽出できない → ⽇本語における「AのB」などの複雑な関係への対処が不⼗分 2. 翻訳器による英訳⽂からSPICEを計算 → TextCaps [Sidorov+, ECCV20]の問題設定のように，画像中の単語を翻訳することが不適切な場合がある ⇒ SPICEを⽇本語へ直接適⽤することは困難 A B ? ?

Slide 34

Slide 34 text

既存研究 : SPICEを⽇本語へ直接適⽤することは難しい - 34 - o ⽇本語へSPICEを直接適⽤する⼆つの⽅法 1. SPICEと同様UDを⽤いてシーングラフを⽣成 → UDは基本的な依存関係しか抽出できない → ⽇本語における「AのB」などの複雑な関係への対処が不⼗分 2. 翻訳器による英訳⽂からSPICEを計算 → TextCaps [Sidorov+, ECCV20]の問題設定のように，画像中の単語を翻訳することが不適切な場合がある ⇒ SPICEを⽇本語へ直接適⽤することは困難 " 𝑦! :「美味しいご飯」と黒板に文字を書く女性

Slide 35

Slide 35 text

実験設定 : ⼆種類の実験を実⾏ - 35 - o ⼆種類の実験を実施 1. JaSPICEおよびベースライン尺度と⼈間による評価との相関係数を⽐較 o ベースライン尺度には以下を使⽤ 2. 英訳⽂から算出した SPICE 値と⼈間による評価との相関係数を計算 • 翻訳器に特定の問題を避けるため，⼆つの翻訳器を使⽤ (i) ⼀般的な機械翻訳システム1 (ii) JParaCrawl[Morishita+, LREC20]で訓練されたTransformer 1 : DeepL (https://deepl.com) • BLEU [Papineni+, ACL02] • ROUGE [Lin+, ACL04] • METEOR [Banerjee+, ACL05] • CIDEr [Vedantam+, CVPR15]

Slide 36

Slide 36 text

実験設定 : ⼆種類の実験を実⾏ - 36 - o ⼆種類の実験を実施 1. JaSPICEおよびベースライン尺度と⼈間による評価との相関係数を⽐較 o ベースライン尺度には以下を使⽤ 2. 英訳⽂から算出した SPICE 値と⼈間による評価との相関係数を計算 • 翻訳器に特定の問題を避けるため，⼆つの翻訳器を使⽤ (i) ⼀般的な機械翻訳システム1 (ii) JParaCrawl[Morishita+, LREC20]で訓練されたTransformer 1 : DeepL (https://deepl.com) • BLEU [Papineni+, ACL02] • ROUGE [Lin+, ACL04] • METEOR [Banerjee+, ACL05] • CIDEr [Vedantam+, CVPR15]

Slide 37

Slide 37 text

実験設定 : ⼆種類の実験を実⾏ - 37 - o ⼆種類の実験を実施 1. JaSPICEおよびベースライン尺度と⼈間による評価との相関係数を⽐較 o ベースライン尺度には以下を使⽤ 2. 英訳⽂から算出した SPICE 値と⼈間による評価との相関係数を計算 • 翻訳器に特定の問題を避けるため，⼆つの翻訳器を使⽤ (i) ⼀般的な機械翻訳システム1 (ii) JParaCrawl [Morishita+, LREC20]で訓練されたTransformer 1 : DeepL (https://deepl.com) • BLEU [Papineni+, ACL02] • ROUGE [Lin+, ACL04] • METEOR [Banerjee+, ACL05] • CIDEr [Vedantam+, CVPR15] 翻訳器の品質と速度の問題があるが，翻訳文からSPICEを直接計算する方法も考えられる

Slide 38

Slide 38 text

「AのB」は画像キャプションに多く含まれる - 38 - o ⽇本語における「AのB」は複数の意味を持つ． o 例 [⿊橋+, 99] • 私の⾞ : 所有 • グレーの制服 : 様態 • 机のあし : 全体部分 • 専⾨家の調査 : 動作主 – 述語 • ラグビーのコーチ : 対象 • 野球の選⼿ : 範疇 • ⾵邪のウイルス : 結果 AとBが「物体」「関係」「属性」のいずれであるかをUDから決定するのは困難「AのB」は属性・所有・位置関係等を表すので，画像キャプションに多く含まれる

Slide 39

Slide 39 text

提案⼿法 : Graph Analyzer (GA) - 39 - o Graph Analyzer (GA)における⼊⼒ • 参照分群のシーングラフ 𝐺 𝑦!,# !$% & • 対象⽂のシーングラフ𝐺 " 𝑦! o 同義語集合によるグラフの拡張と，グラフに対するBinary matchingを⾏う．

Slide 40

Slide 40 text

GA : 同義語集合によるグラフの拡張 - 40 - o 𝑜 ∈ 𝑂 " 𝑦 の同義語集合 𝑆 " 𝑦 を⽣成し, 𝑂& " 𝑦 ≔ 𝑂 " 𝑦 ∪ 𝑆 " 𝑦 を新たな物体集合とする． • 同義語集合には⽇本語WordNet [Bond+, ALR09]を使⽤ 𝑜( 𝑜' 𝑅 𝑜)! 𝑜)" 𝑜*! 𝑜*" 𝑆 " 𝑦 𝑆 " 𝑦 𝑜( 𝑜' 𝑅 𝑜)! 𝑜)" 𝑜*! 𝑜*"

Slide 41

Slide 41 text

定性的結果 : ⼈間による評価に近い値を出⼒ - 41 - o 説明⽂ : 「⾚い傘をさした⼈がベンチに座っている」 o ⼈間による評価 : 5 (とても良い) テスト集合において上位２％の値 → ⼈間による評価に近い値

Slide 42

Slide 42 text

Ablation study : グラフ拡張機能の有効性も確認 - 42 - o (i) / (ii) : シーングラフ解析器をUDベースに変更 o (i) / (iii) : グラフ拡張機能を削除 ü グラフ拡張機能の有効性も確認条件 Parser グラフ拡張 Pearson Spearman Kendall (i) UD 0.398 0.390 0.309 (ii) UD ✔ 0.399 0.390 0.309 (iii) JaSGP 0.493 0.524 0.410 提案手法 JaSGP ✔ 0.501 0.529 0.413 +0.008 +0.005 +0.003

Slide 43

Slide 43 text

各モデルについて - 43 - o ClipCapmlp • Mapping NetworkをMLPにしたClipCap o ClipCaptrm • Mapping NetworkをTransformerにしたClipCap o Transformer𝐿 ∈ 3,6,12 • Bottom-up Feature[Anderson+, CVPR18]を⼊⼒に⽤いた 3, 6, 12 層からなるTransformer ClipCap [Mokady+, 21]

Slide 44

Slide 44 text

STAIR Captions: ⼤規模⽇本語キャプションデータセット - 44 - o STAIR Captions : ⼤規模⽇本語キャプションデータセット • MS-COCO の画像に対してキャプションを付与 o 統計情報 • 画像数 : 164,062 • キャプション数 : 820,310 • 語彙サイズ : 35,642 • 平均⽂⻑ : 23.79

Slide 45

Slide 45 text

PFN-PIC: ロボットシステムにおける指⽰⽂データセット - 45 - o PFN-PIC: ⽇本語と英語の指⽰⽂を含むデータセット • 各画像について最低三⼈のアノテータによって指⽰⽂が付与 o 統計情報 (train) • 画像数: 1,060枚 • 対象物体: 255,00個 • 指⽰⽂: 76,511⽂ o 統計情報 (test) • 画像数: 20枚 • 対象物体: 353個 • 指⽰⽂: 898⽂

Slide 46

Slide 46 text

失敗例 : 表層の不⼀致 - 46 - o 説明⽂ : 「⽫に料理が盛られている」 o ⼈間による評価 : 5 (とても良い) 表層の不⼀致から低い値が出⼒されている正解キャプション「パンにハムときゅうりとトマトとチーズが挟まっている」

Slide 47

Slide 47 text

TextCapsについて - 47 - o TextCaps[Sidorov+, ECCV20] • 画像中のテキストに依存した画像キャプション⽣成データセット