[論文解説] SentiCSE: A Sentiment-aware Contrastive Sentence Embedding Framework with Sentiment-guided Textual Similarity

感情表現を考慮した対照学習フレームワークSentiCSEの紹介

Transcript

1. SentiCSE: A Sentiment-aware Contrastive Sentence Embedding Framework with Sentiment-guided Textual Similarity Jaemin Kim , Yohan Na, Kangmin Kim, Sang Rak Lee, Dong-Kyu Chae LREC-COLING 2024 URL:https://aclanthology.org/2024.lrec-main.1280/ 発表者：M1 梶川 怜恩
2. 本論文 • 感情表現の品質を評価する指標の提案 • SentiCSEの構築 実験結果 • 高品質な感情表現を獲得 • 感情分析で従来モデルよりも高い性能 1 概要
3. 感情分析は現実でよく使われる • SNS分析、経営システムなど • オンラインで積極的に意見を述べる人が増加 事前訓練済みモデル（PLM）の登場 • 意味情報を理解し、文脈化された表現を構築 • PLMを用いた感情分析の研究が出てくる 2 導入：感情分析
4. 意味と感情の観点からのテキスト類似性は大きな違いがある 3 導入：事前訓練モデルの限界 BERTやGPTは 意味的類似性を見ている 感情表現を考慮した 埋め込み空間
5. 単語、フレーズ、文レベルの極性予測で事前訓練 • SentiBERT, SentiLARE, SentiX, SentiWSP • 感情分析タスクで優れたパフォーマンスを達成している → 感情表現の品質評価を行っていない 事前訓練済みモデルの感情表現が低品質な場合 → few-shot学習時に性能が低下するリスク → 現実世界では、学習データが不足している 4 導入：感情を考慮した事前訓練と課題 感情表現の品質評価を行う 評価指標を提案したい few-shot学習でも性能が 安定するモデルが望ましい
6. Sentiment-guided Textual Similarity (SgTS) • 感情表現の品質を定量的に評価 • ２文間の感情極性の同等性を測定 SentiCSE • ラベル付きデータが少ない場合を考慮した事前訓練手法 • 感情に関する知識を利用、高品質な感情表現を構築する 5 導入：品質評価と事前訓練手法の提案
7. 提案手法 6
8. 感情類似性を評価 文ペアに対してスコアを付与 • 異なる感情（0）、同一の感情（1） • 任意の感情データに対して適用可能 感情表現の品質 • 正解スコアと埋め込み間のコサイン類似度との相関で測定する 7 SgTS：感情表現の品質評価
9. 高品質な感情表現を学習するためのフレームワーク • 単語レベル：マスクされた感情単語を予測する • 文レベル：感情を考慮した教師あり対照学習 8 SentiCSE
10. ￥ マスクされた感情単語を予測する • 感情単語をマスクする（SentiWordNetの感情単語より） • ポジネガどちらもあり得る単語はマスクしない → 訓練が不安定になるため 極性関数𝑆(𝑥)に基づいて単語の感情極性を取得する 9 SentiCSE：単語レベルの目的関数（感情単語をマスク）
11. マスクされた感情単語を予測する • 真の単語と予測単語の極性が同一の場合は０、異なる場合は1 • 単語が一致しなくても、真の単語と極性が一致するよう学習 → モデルは感情の観点から言語理解を行う 10 SentiCSE：単語レベルの目的関数（感情極性を予測）
12. 教師あり対照学習 • 正例：ポジティブな２文、ネガティブな２文 • 負例：感情極性の異なる２文 • 同じ感情極性の文を近づけるように学習 11 SentiCSE：文レベルの目的関数
13. SentiCSE • 単語レベル：マスクされた感情極性を予測する • 文レベル：同一の感情の2文を近づけ、異なる感情の2文を遠ざける 12 SentiCSE：まとめ
14. 評価実験 13
15. データセット • 十分な感情単語を含む5つのデータセット • IMDB, SST-2, Yelp2, Amazon, MR 14 実験設定：データセット
16. 比較手法 • 教師ありSimCSE, BERT, RoBERTa • 感情を考慮した事前訓練モデル（Senti~） 15 実験設定：比較手法 提案手法は学習データ量が 少ないのが特徴
17. 事前訓練用データセット • MRを採用 • 4,265の４つ組データが作成 検証ステップ • SgTSタスク • 500ステップごとに、SgTSの性能を評価 • MRの検証セットに含まれる文に対して、0 or 1のラベルを持つ429の文ペア 16 実験設定：SentiCSE
18. SgTSタスク • 感情表現の品質を評価 • 正解スコアと埋め込み間のコサイン類似度との相関で測定する プロービングタスク • 文埋め込みを入力とする分類器を訓練、分類性能から文埋め込みの品質を評価 • 感情分類を行う few-shot設定 • 学習データをk件に縮小（データが不足している状況を再現） • 1-shot, 5-shotで検証 17 実験設定：評価タスクの設定
19. SgTSタスク • SentiCSEが最良（同じ感情の文同士は空間内で近く、異なる場合は離れている） 18 実験結果：感情表現の品質
20. 各データセットでの文表現を可視化 • SentiX, SentiLARE, SentiCSEは、感情が異なる文同士離れている（優れた感情表現？） → 上記モデルは感情分析に関連したデータで訓練している • SentiCSEは、他モデルよりも分離している（より優れた感情表現） 19 実験結果：感情表現の品質
21. Few-shotとSgTS • 2タスクの間に強い相関 • SgTSが感情表現の品質を測定するために有効な評価指標であることを示している 20 実験結果：感情表現の品質
22. プロービングタスク（感情分類） • 事前訓練データに含まれているモデルよりも性能が高い（SST-2） • 提案手法は小規模なコーパスで訓練（計算コストの面でも優位） 21 実験結果：タスクの性能 事前訓練データより SentiX（240M） SentiCSE（0.008M）
23. few-shot設定 • SentiCSEが最良の結果 → 学習データが不足している状況でも感情分析の性能が良い 22 実験結果：タスクの性能
24. ベースラインモデルと事前訓練データを揃えた場合 • SentiCSEはベースラインよりも優れている 23 実験結果：同じ事前訓練データを使用
25. 分析 24
26. 目的関数より • ℒ 𝑛𝑒𝑔 > ℒ 𝑝𝑜𝑠 ：否定的な文の方が、多様な表現を用いるため • ℒ 𝑤 （単語レベル）を追加すると、性能向上 25 分析：アブレーション分析 文レベルの目的関数 ℒ 𝑛𝑒𝑔 , ℒ 𝑛𝑒𝑔
27. 各モデルに対して、クエリとの類似度が高い文を検索 • 従来モデルは、クエリと異なる感情の文を検索 • SentiCSEは、クエリと同じ感情の文を検索 26 分析：定性分析
28. 本論文 • 感情表現を評価する指標（SgTS）を提案 • SentiCSEを提案 実験結果 • 高品質な感情表現を獲得 • 小規模なデータ量で、比較手法よりも高い性能を達成 27 まとめ