Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[論文解説] Not All Negatives are Equal: Label Aware...

Reon Kajikawa
January 22, 2025
1

[論文解説] Not All Negatives are Equal: Label Aware Contrastive Loss for Fine grained Text Classification

EMNLP2021の論文。教師あり対照学習における改善手法の提案。負例に対してクラス間の近さを考慮した重み付けを行う。

Reon Kajikawa

January 22, 2025
Tweet

More Decks by Reon Kajikawa

Transcript

  1. Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained

    Text Classification Varsha Suresh, Desmond C. Ong EMNLP 2021 URL:https://aclanthology.org/2021.emnlp-main.359/ 発表者:M1 梶川 怜恩
  2. 単純な手法 • クロスエントロピー損失でBERTを追加学習する • カテゴリラベルを前提としているため、感情分析/分類では不適切な損失である • Loss(かなりポジをややポジと予測)= Loss(かなりポジをかなりネガ) 教師あり対照学習 (Gunel

    et al., 21) • 対照損失で追加学習する • Few-shot学習において単純な手法よりも高い精度が出ると報告されている • クラス間の細かな違いは考慮されていない 3 既存手法
  3. クラス間の関係を学習するような対照損失を提案する • 類似度行列の各要素を重み付けする • 順序ラベルの5値分類(A~E) 4 提案手法 1 0 0

    … 0 0 1 0 … 0 0 0 1 … 0 … … … … … 0 0 0 … 1 0.7 0.2 0.7 … 0.01 0.3 0.5 0.3 … 0.05 0.6 0.3 0.6 … 0.0 … … … … … 0.0 0.1 0.0 … 0.8 𝑥1,𝐴 𝑥2,𝐵 𝑥3,𝐴 … 𝑥𝑁,𝐸 𝑥1,𝐴 𝑥2,𝐵 𝑥3,𝐴 … 𝑥𝑁,𝐸 𝑥1,𝐴 + 𝑥2,𝐵 + 𝑥3,𝐴 + … 𝑥𝑁,𝐸 + 𝑥1,𝐴 + 𝑥2,𝐵 + 𝑥3,𝐴 + … 𝑥𝑁,𝐸 + 教師あり対照学習 提案手法
  4. クラス間の関係を考慮して、重み付けするNNを追加 → 重み付け𝑤𝑖 は学習パラメータとする 6 Label-Aware Contrastive Loss 0.7 0.2

    0.7 … 0.01 0.3 0.5 0.3 … 0.05 0 0 1 … 0 … … … … … 0 0 0 … 1 𝑥1,𝐴 𝑥2,𝐵 𝑥3,𝐴 … 𝑥𝑁,𝐸 𝑥1,𝐴 + 𝑥2,𝐵 + 𝑥3,𝐴 + … 𝑥𝑁,𝐸 + 提案手法
  5. 2タスクで評価 • 感情分析(Acc) • SST-5:映画レビュー(5クラス) • SST-2:映画レビュー(2クラス) • 感情分類(Acc, F1)

    • Empathetic Dialogues:対話データ(32種類) • GoEmotions:Redditのコメント(27種類) • ISEAR:感情体験に関する文(7種類) • Emolnt:ツイート(4種類) 9 データセット
  6. 提案手法 • モデル:ELECTRA • 最終層のCLSトークンを分類層への入力とする • 損失:Label-Aware Contrastive Loss 比較手法

    • モデルの比較 • 感情分析特化モデル:SentiBERT, SentiLARE, SKEP • 損失の比較 • クロスエントロピー損失 • 教師あり対照損失[Gunel 21] 10 提案手法と比較手法