ACL読み会＠名大「S2GSL Incorporating Segment to Syntactic Enhanced Graph Structure Learning for Aspect-based Sentiment Analysis」

Transcript

1. 9/30 ACL読み会2024 静岡大学狩野研究室 B3山口真
2. アスペクトベースの感情分析というタスク ・本研究では以下のような例文を考える The atmosphere is unheralded, the service impeccable, but the food terrible. ・文に対してアスペクト語と対応するオピニオン語のラベルを分類するタスクを行う ↳The atmosphere is unheralded 雰囲気は目立ったところなし(atmosphere : neutral) ↳the service impeccable サービスは非の打ちどころがない(service : positive) ↳the food terrible 食事はひどい(food : negative) ・ひとつの文に複数のラベルを付与するために以下の手法が検討されている 手法１：係り受け木を利用した構文解析 手法２：Attentionを利用した意味解析 手法３：構文グラフと意味グラフを組み合わせるグラフベース →本研究では手法３で存在する課題について取り組んだ 1
3. 課題：グラフへの無関係な文によるノイズ 2 ・構文グラフ構築の際に係り受けを利用する unheraldedからの係り受けを考えるとき terribleへの係り受けはノイズになる ・意味グラフ構築の際にAttentionを利用する atomosphereの文を考えるとき serviceの文やfoodの文に関する セグメントの意味情報はノイズになる
4. アーキテクチャの全体外観 3 構文ノイズを考慮する学習 意味ノイズを考慮する学習
5. セグメントを考慮した意味グラフの学習 ・Attentionを張る対象となるセグメントを動的に決定するためのマスク行列を導入する． 4 The atmosphere is unheralded, the service impeccable, but the food terrible. 注目するウィンドウの左端を学習 注目するウィンドウの右端を学習 マスク行列 The atmosphere is unheralded, the service impeccable, but the food terrible. クエリ マスク後の行列を得る
6. セグメントを考慮した意味グラフの学習 ・マスク行列による学習に加えて構成木を教師信号としてセグメント決定を学習する 5 同一セグメントに属するなら１ そうでないなら０ 損失関数を得る Stanford dependencyをもとにした CRF Constituency parserで構成木を得る
7. セグメントを考慮した意味グラフの学習 6 𝐴𝑆𝑒𝑆を集約関数とするグラフの中間表現を得る
8. 係り受けを考慮したグラフの構築 7 Stanford Parserで係り受けを解析 係り受け木から依存関係行列を得る 依存関係行列から埋め込みを得る 最終的な関係隣接行列を得る https://aclanthology.org/2022.emnlp-main.359/
9. 係り受けを考慮したグラフの構築 8 関係隣接行列を線形変換する 単純なAttention行列𝐴𝑎 を用意する 構文関係行列を得る 行列の和をとって 構文を考慮した初期重み行列を得る
10. 係り受けを考慮したグラフの構築 9 対角成分はノードがルートであるかを加味した次数行列 それ以外は単に接続を示す隣接行列 であることを考慮した重み行列 i番目のノードがルートであるかを示すスコア i番目のノードがルートかどうかの確率 𝑡𝑖 ∈ 0,1 はアスペクト語であるかどうかで これによりルートノードのオピニオン語と与えられたアスペクト語に対する損失関数を得る
11. 係り受けを考慮したグラフの構築 10 グラフ畳み込み 対角成分：ルートノードスコア それ以外：隣接行列 の重み行列 𝐴𝑆𝑦𝐿を集約関数とするグラフの中間表現を得る
12. 係り受けを考慮したグラフの構築 10 グラフ畳み込み 対角成分：ルートノードスコア それ以外：隣接行列 の重み行列 𝐴𝑆𝑦𝐿を集約関数とするグラフの中間表現を得る https://aclanthology.org/2022.emnlp-main.359/
13. グラフ集約モジュールと最終的な損失関数 11
14. グラフ集約モジュールと最終的な損失関数 12 𝑦(𝑠,𝑎) はオピニオン語sとアスペクト語a から計算される感情の確率分布
15. 実験：使用するデータセット 13 ・それぞれのデータセットはアスペクト語とオピニオン語を含む文からなっている ・Laptop, Restaurant, MAMS「the restaurant was expensive, but the menu was great」 →複数のオピニオン語とアスペクト語を含む文 ・Twitter「@baller: windows phone is not better than iOS!」 →オピニオン語となるスパンはひとつだが複雑 単位:文
16. 結果 14 ・Twitter以外のタスクで当時のSOTAを達成 ・Twitterに関しては対象となるアスペクト語が複雑なひとつであるために利点が反映されなかった
17. アブレーション：各モジュールの効果 ・w/o SeSGに関してTwitter以外の３つのスコアが大きく下がった． →文構造が形式的かつひとつの文に複数の従属節が含まれるから →セグメントでマスクした利点が出ている 15
18. 分析１：教師信号の効果 ・セグメント考慮の損失関数を導入しない方は誤った重みを割り当てている →セグメントでのマスク＋教師信号の利点が出ている 16
19. 分析２：構文依存ラベルの効果 (a)では appetizers ←(nsubj)← ok service ←(nsubj)← slow のように アスペクト語によくある依存関係を学習できた ことにより(b)のようによりアスペクト語の 重みが上昇した 17
20. 分析３：集約モジュールの効果 ・提案手法では各モジュールのAttentionに対してそれぞれのQueryと(Key, Value)を Cross-Attentionの容量で計算した 単純なSumやConcatと比較した際により性能が良いことが分かった． またタスクによって最適な戦略が変わることから直接的な融合戦略ではなく 適応的なモジュール融合の利点が出ることが期待できる 18
21. 分析４：ChatGPTとの比較 ・戦略１：ゼロショット 「文に対して与えられたアスペクト語に 対応する感情を[positive, negative, neutral]から感情を選んでください」 ・戦略２：単一アスペクト語の5-shot １に加えて５つの例を与えた．ただしそれぞれはひとつのアスペクト語のみ持つ ・戦略３：複数アスペクト語の5-shot １に加えて５つの例を与えた．ただしそれぞれは複数のアスペクト語を持つ 19
22. 分析５：構成木層の数の効果 層の数の比較 ４層が最良だった 20
23. まとめ ・アスペクトベースの感情分析において局所的にAttentionを張る手法を提案した ・セグメントを考慮して学習するモジュールと係り受けを考慮して学習するモジュールの ふたつを提案した ・ふたつのモジュールを効果的に統合するシステムを提案した ・対象アスペクトに無関係な単語をGCNを用いて明確に考慮することで 従来手法よりも良好な性能を示した 限界 複雑な構文に対応できない 21
24. 簡単なGNNの解説 e1 x0 x2 x1 x3 x4 次数行列Dと隣接行列Aからラプラシアン行列Lを得る． 本研究ではノードの重みをD，エッジの重みをAで考えている
25. 簡単なGNNの解説 x0 x2 x1 x3 x4 グラフの学習は特徴ベクトルを集約関数で畳み込む 例えば集約関数Aが単純な隣接ノードの和集約で Wが重みを与える線形変換であるとき グラフの中間表現hは ℎ𝑛 = 𝜎(𝑠𝑢𝑚 (𝑊 ℎ𝑛−1 ) + 𝑏𝑛 ) のようになる GNNではこのように周囲の情報を集約することによって 学習を進める ←ℎ0 = 𝜎 𝑊 𝑥0 + 𝑥1 + 𝑥3 + 𝑥4 + 𝑏0 e2