Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SPECTER: Document-level Representation Learning using Citation-informed Transformers

SPECTER: Document-level Representation Learning using Citation-informed Transformers

研究室の日本語輪読会で発表したスライドです。

750d4d1ae846b2d342d99fced070db39?s=128

Kaito Sugimoto

November 02, 2020
Tweet

Transcript

  1. SPECTER: Document-level Representation Learning using Citation-informed Transformers Cohan et al.,

    ACL 2020 杉本 海人 Aizawa Lab. B4 2020/11/02 1 / 17
  2. 読んだ論文 ACL 2020 https://www.aclweb.org/anthology/2020.acl-main.207.pdf 2 / 17

  3. どんな論文? • 文書間の関係の情報(引用ネットワークなど)を BERT に取り入 れて, document representation を生成する方法を新たに提案 •

    論文の分類や推薦などの多くの downstream task で有効性を確認 なぜ読んだか: • context-aware citation recommendation という, 論文の特定の位置 からその箇所に対応づけるべき論文を選ぶタスクに興味を持っ ているが, BERT はまだ殆ど使われていない. 論文の埋め込みは BERT でどのように行うのが良いのかに興味 があった 3 / 17
  4. 論文の背景 • BERT のような pre-trained のニューラル言語モデルが word や sentence 単位の埋め込みにおいて有用であることは広く研究さ

    れてきたが, document 全体の埋め込みに関しては相対的に研究が 少ない • 特に scientific paper analysis において, 引用ネットワークの埋め込 み自体は Graph Convolutional Network など研究されてきたが, そ れを BERT の 学習時に活かせていなかった 4 / 17
  5. 関連研究 hyperdoc2vec: Distributed Representations of Hypertext Documents (ACL 2018): (BERT

    ではないが引用の情報を意識して学習) 5 / 17
  6. 関連研究 A Context-Aware Citation Recommendation Model with BERT and Graph

    Convolutional Networks (2019) (BERT と GCN を組み合わせて論文推薦, ここでは引用の情報は BERT とは別物になっている) 6 / 17
  7. 提案手法 SPECTER: Scientific Paper Embeddings using Citation-informed TransformERs • 論文の埋め込みを

    Transformer ベースで得る新たな手法 • Transformer を SciBERT(Semantic Scholar の論文で pre-trained さ れた BERT)で初期化する • SciBERT はすでに論文の中身に関する言語情報を獲得している と考えられるが, 論文間の関係情報は一切考慮していない。これ を考慮できるようにさらに学習する 7 / 17
  8. 提案手法: Training クエリの論文 PQ だけでなく, positive paper P+, negative paper

    P− も加 えた 3 つ組 を入力として使う。 8 / 17
  9. 提案手法: Training P+: PQ が引用した論文 P−: 2 種類の選び方がある。1 つは, PQ

    が引用していない論文からラ ンダムに 1 つ選ぶ。 もう 1 つは, P+ が引用しているにもかかわらず PQ が引用していない 論文からランダムに 1 つ選ぶ(hard neagtives) 。もし全くクエリに関 係ない論文なら, そのクエリが引用した論文とも全く関係ないのは自 明であるが, hard negatives では自明でない例を学習するということに なる。 9 / 17
  10. 提案手法: Training PQ, P+, P− それぞれの論文を入力として, Transformer モデルに入れ, [CLS] トークンの出力から埋め込みを得る.

    入力形式は, 基本的には「論文のタイトル + abstract」としている。後 の実験で, abstract を使わないタイトルのみ場合や author(著者), venue(会議名)のメタ情報を入力に加えた場合とも比較している。 これら 3 つの埋め込みについて, 以下のような TripletMarginLoss を計 算し, back propagation する. 10 / 17
  11. 提案手法: Evaluation • クエリ論文 P を学習した Transformer モデルに入れ, [CLS] トーク

    ンの出力から埋め込みを得る • 推論時には引用ネットワーク情報が不要というのがポイント 11 / 17
  12. 実験: pre-trained model の作成 • Semantic Scholar から 146K のクエリ論文を訓練用に,

    32K の論文 を validation 用に抽出した。クエリ論文 1 つに対し, 最大 5 つの PQ, P+, P− の 3 つ組を作成。 5 つの 3 つ組のうち 2 つは hard negatives, 3 つは easy negatives となっている。 累計 684K の 3 つ組を訓練用に, 145K を validation 用に用意した • https://github.com/allenai/specter 12 / 17
  13. 実験: タスク・データセット scientific paper embeddings を包括的に評価するための新たなフレーム ワークである SCIDOCS を用意した(この論文のもう 1

    つのポイ ント) 。 SCIDOCS では論文に関する 7 つのタスクで評価する。 • MeSH Classification • Paper Topic Classification • Citation Prediction (Direct Citations) • Citation Prediction (Co-Citations) • User Activity (Co-Views) • User Activity (Co-Reads) • Recommendation 13 / 17
  14. 結果 14 / 17

  15. 分析: Ablation Study 15 / 17

  16. 分析: Visualization 16 / 17

  17. 分析: Comparison with Task Specific Fine-Tuning 17 / 17