Share
Embed
COLING読み会2020_Graph Enhanced Dual Attention Network for Document-Level Rlation Extraction
maskcott
January 11, 2021
Transcript
21 slides
-
概要 ・文書レベルの関係抽出には文間の推論能力が必要 ・Graph Enhanced Dual Attention network(GEDA)を用いて、文と潜在的なrelation instance 間の複雑な相互作用を特徴づけることを提案 ・既存のデータセットを用いた実験で、本モデルが特に文間の関係抽出において競争力
のある性能を発揮すること、ニューラルな予測が解釈可能かつ簡単に分かることを示し た -
導入 関係抽出(RE)は与えられた文章とターゲットとなるentityから関係を検出するタスク 与えられる文章によって大きく二つに分類される 1) Sentence-level RE (Zeng et al., 2015;
Zhou et al., 2016; etc) 2) Document-level RE (Sahu et al., 2019; Gupta et al., 2019; etc) この論文で扱うのは2のタスク 2の方がより困難なタスク -
導入 複数文と複数のrelation instance間の相互関係を特徴づけることで課題に取り組む ・1つの relation instance は複数の文によって表現されることがある ・1つの文が複数の事実関係を明らかにすることもある → 複雑な多対多の相互作用を捉えるために文と潜在的
relation instance 間のアテン ションを利用する ・Sentence-to-relation(S2R)とRelation-to-sentence(R2S)からなるbi-directionalなア テンションメカニズムを導入する -
提案モデルの3つの特徴 1. 特定の事実関係を表現する文は文書の異なる位置に存在しうる →従来の手法ではノイズの多い文を含めて文情報を合成するので良くない →S2Rで生成された文表現をGCNで畳みこんで洗練してから合成し、R2Sに供給 することでより精度の高い潜在的 relation instanse の表現を得る 2.
S2RとR2Sの注意の二元性から単純で効果的な正則化器としての帰納バイアスを 利用 3. アテンションの重みを学習する際にR2Sの重みを教師付き信号とすることで relation instanceの根拠を学習に利用 -
Encoding Layer 文書はn語, m文, k個のentity (relation instanceはk(k-1)個) からなる 1)word embedding,
2)entity type embedding, 3)entity order embedding (Yao et al., 2019) 隠れユニットh個のBiLSTMで文書を とする i番目の文のベクトル表現: entityのベクトル表現: relation instanceのベクトル表現: 全てのentityのペア に双対関数を使用し、 なるベクトル表現とする -
Graph-Enhanced Bi-directional Attention 文とrelation instance間の複雑な相互作用をモデル化することが目的 S2R layer, GCN layer, R2S
layerからなる S2R layer この層の出力はrelation instanceから得られる文のベクトル クエリを , キーを の各行 としてアテンションの重みを計算 出力: この層でアテンションの重み行列 も得られる -
Graph-Enhanced Bi-directional Attention GCN Layer entity nodeとsentence nodeからなるグラフ 3種類のedge 1)
sentence-sentence edge: 2文が同じentityを持つとき 2) entiy-entity edge: 2つのentityがある一つの文に現れるとき 3) entity-sentence edge: entityがその文の中に現れるとき entityのベクトル表現を前層で出力した の次元に揃える → を使って →特徴ベクトル -
Graph-Enhanced Bi-directional Attention 隣接行列 対角成分, 2つのnode間にedgeがあれば1, 無ければ0の行列 GCN(グラフ畳み込み)をすることで新しい特徴量 対称正規化隣接行列 この特徴量は次のように解釈できる
1) 上からk行は洗練されたentityの行列 2) k+1行からk+m行は洗練された文の行列 さらに1) に対して双対関数を使うことで洗練された relation instance のベクトル表現 を得る -
Evidence Supervision どの文が特定のrelation instanceに貢献しているのかをベクトル化 ex) m文からなる文書の、i番目のrelation instanceが冒頭2文によって根拠づけられて いる場合、evidenceベクトルは どの文にも当てはまらないときは全ての要素が1/m 直感的に
のi行目 はevidenceベクトルに近いベクトルであるべき → KLダイバージェンス 追加のロスとして計算 -
Classification Layer マルチラベル問題を想定 のi行目、 を用いてi番目のrelation instanceがrelation type を持つか予測する 学習可能なパラメータ シグモイド関数 m文, k個のentity,
t個の事前に定義された relation typeからなる文書が与えられたときのロス関数 i番目のrelation instanceがrelation type のとき1, そうでないとき0 パラメータ L2正則化項 係数 -
実験 データセット: DocRED (Yao et al., 2019) 大規模な文書レベルREのデータセット training doc:
3,053, development doc: 1,000, test doc: 1,000, relation type: 96 entityのペアが複数の関係を持ち得るのでmulti-label classification問題とする 先行研究 (Yao et al., 2019) に倣ってF1とIgnF1(trainingに出てくるentity pairを取り除 く)で評価 entityのペアが同一文内か否かでもintra-F1とinter-F1としてそれぞれ評価