ACL2020 Question & Answering

D2151968789d3a241fe9ce2c19936661?s=47 HisakaKoji
October 18, 2020

ACL2020 Question & Answering

ACL2020 Question & Answering

ACL2020 分野サーベイLT会
https://nlpaper-challenge.connpass.com/event/191318/

D2151968789d3a241fe9ce2c19936661?s=128

HisakaKoji

October 18, 2020
Tweet

Transcript

  1. Question&Answering NLPaper challenge 日坂 幸次 (koji)

  2. Question&Answering どんなタスクか 文字通り、質問から回答を推論する タスク。 入力 質問文: 現在のアメリカの大統領は? 出力 回答:トランプ大統領

  3. ベンチマーク Stanford Question Answering Dataset(SQuaD)等 入力 質問文: 現在のアメリカの大統領は? + 短文:

    アメリカ合衆国大統領(アメリカがっしゅうこくだいとうりょう、 英語: President of the United States of America、略称: POTUS)は、 アメリカ合衆国の国家元首であり行政府の長たる大統領。 4年ごとのアメリカ合衆国大統領選挙(以下「大統領選挙」)に よって選出される。 歴代大統領は歴代アメリカ合衆国大統領の一覧を参照のこと。 現職は2017年1月20日より第45代のドナルド・トランプが在任。 出力 回答:ドナルド・トランプ 短文の中から答えを抽出 Question&Answering 色々な入力と出力タイプ
  4. ベンチマーク Google's Natural Questions 入力 質問文: 現在のアメリカの大統領は? + 関連するWikipediaページ 出力1

    短文形式 回答:ドナルド・トランプ 出力2 長文形式 回答: 現職は2017年1月20日より第45代 のドナルド・トランプが在任。 Question&Answering 色々な入力と出力タイプ
  5. マルチホップQ&A 入力 質問文: 鉄は、水と酸素にさらされると表 面が何色になりますか。? 文章1:鉄は錆びると、表面がオ レンジになります。 文章2:鉄は酸素と水の存在下で 錆びます。 出力

    回答:オレンジ色になります。 複数の推論が必要 Question&Answering 色々な入力と出力タイプ
  6. Question&Answering 色々な入力と出力タイプ 算数問題 入力 質問文: 青い鳥が3羽います。 赤い鳥が5羽います。 鳥は全部で何話ですか。 出力 回答:3+5=8

  7. Question&Answering 色々な入力と出力タイプ 診療カルテに基づく質問と回答 入力 質問文: この患者さんはBMIが異常だったことはあります か? 短文: 96年8月31日 ホモグラフトによる上行大動脈根置換

    術瞼下垂体手術を行いました。血行動態は安定して おり、良好な経過をたどっています。 身体検査。 BMI:33.4 肥満、ハイリスク。脈拍:60、呼吸数。18 出力 回答: BMI:33.4 肥満、ハイリスク
  8. Question&Answering 色々な入力と出力タイプ テキスト、ゲノム配列、タンパク質構造からタンパク質相互作用があるか判定 入力 テキスト: メガリンとキュービリン:多機能性内分泌細胞受容体PROTEIN1 とPROTEIN2は、構造的に異なる2つの内分泌細胞受容体が相互に 作用して機能を発揮する。 タンパク質構造: ゲノム配列:

    出力 タンパク質相互作用 有り
  9. どんな論文があったか • RikiNet 「Google's Natural Questions」向けモデル ⇒質問文とWikipediaの文章を一緒に学習させ高精度化

  10. どんな論文があったか • Graph2Tree 算数問題を解くモデル ⇒グラフニューラルネットと2分木を使うことで算数問題を論理的に解く。

  11. どんな論文があったか • ゲノム配列、タンパク質構造、テキストからタンパク質相互作用を判定 ⇒複数の入力データを解析させる、ディープマルチモーダル

  12. どんな論文があったか • 診療の質問と回答のデータセット(emrQA)の検証 ⇒医療データに対する考察や、 BERTやDocReader等を使った性能比較

  13. どんな論文があったか • 論理を使ったデータのかさ増しと一貫性の学習 ⇒データオーグメンテーション(データ増幅)

  14. 感想 論理的な思考への取り組み 複数の情報を利用したマルチモーダル データ増幅 などが新しい傾向かなと思いました。

  15. 強い研究者、機関 特にここがというのは、無い印象でした。 国別は、私が見た論文の中では、 アメリカ3 中国2 インド1 韓国1

  16. Appendix

  17. 論文名 人 組織名 Amalgamation of protein sequence, structure and textual

    information for improving protein-protein interaction identification Pratik Dutta, Sriparna Saha Department of Computer Science & Engineering Indian Institute of Technology Patna Clinical Reading Comprehension: A Thorough Analysis of the emrQA Dataset Xiang Yue Bernal Jimenez Gutierrez The Ohio State University Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings Vikas Yadav, Steven Bethard, Mihai Surdeanu University of Arizona, Tucson, AZ, USA Graph-to-Tree Learning for Solving Math Word Problems Jipeng Zhang1,2,∗ , Lei Wang2,∗ , Roy Ka-Wei Lee3 , Yi Bin1 , Yan Wang4 , Jie Shao1,5,#, Ee-Peng Lim2 1Center for Future Media, University of Electronic Science and Technology of China 2School of Information Systems, Singapore Management University 3Department of Computer Science, University of Saskatchewan 4Tencent AI Lab 5Sichuan Artificial Intelligence Research Institute Contextualized Sparse Representations for Real-Time Open-Domain Question Answering Jinhyuk Lee1 Minjoon Seo2,3 Hannaneh Hajishirzi2,4 Jaewoo Kang Korea University1 University of Washington2 Clova AI, NAVER3 Allen Institute for AI4 RikiNet: Reading Wikipedia Pages for Natural Question Answering Dayiheng Liu♠† Yeyun Gong† Jie Fu♦ Yu Yan† Jiusheng Chen♥Daxin Jiang‡ Jiancheng Lv♠ Nan Duan† College of Computer Science, Sichuan University †Microsoft Research Asia ♦ Mila ‡Microsoft Search Technology Center Asia ♥Microsoft AI and Research losinuris@gmail.com DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering Qingqing Cao, Harsh Trivedi, Aruna Balasubramanian, Niranjan Balasubramanian Department of Computer Science Stony Brook University Stony Brook, NY 11794, USA
  18. RikiNet「Google's Natural Questions」向けモデル 新しいベンチマーク 「Natural Questions」 に特化した読解モデル 「Natural Questions」は、 質問文と短文のペアでな

    く、質問文と関連する Wikipediaページ全体の データセット。 答えの箇所(short answer)だけでなく、 答えがどの段落(long answer)にあるかも答え なければないない。
  19. 新しいベンチマーク 「Natural Questions」 に特化した読解モデル 「Natural Questions」は、 質問文と短文のペアでな く、質問文と関連する Wikipediaページ全体の データセット。

    答えの箇所 (short answer)だけでな く、答えがどの段落 (long answer)にあるかも 答えなければないない。 RikiNet「Google's Natural Questions」向けモデル
  20. ▪ Dynamic Paragraph Dual-Attention Reader (DPDA) 図の左 ドキュメントと質問の表現を取得。 ▪ Multi-level

    Cascaded Answer Predictor 図の右 Short answer とlong answer と、答え方(long,short,null,yes,no) の予測を行う。 (「ノーベル賞の由来は」など、short answer では答えられない回答もあるため。) RikiNet「Google's Natural Questions」向けモデル
  21. RikiNet「Google's Natural Questions」向けモデル

  22. Graph2Tree 算数問題を解くモデル グラフニューラルネットのエンコーダーと、 ツリーベースのデコーダを用いて、 数学文章問題のタスク精度向上 問題例: クラスで生徒を組織して登山を行った。 女子生徒は4つのグループに分かれ、 各グループには15人の生徒がいた。 男子生徒は全部で76名でした。

    先週は何人の生徒が登山に参加していまし たか? Graph2Tree:15 ∗ 4 + 76 = 136 https://github.com/2003pro/Graph2Tree.git
  23. Graph2Tree 算数問題を解くモデル

  24. Graph2Tree 算数問題を解くモデル

  25. ゲノム配列、タンパク質構造、テキスト からタンパク質相互作用を判定 タンパク質間相互作用について、テキストデータだけでなく、3次元タンパク質構造とゲ ノム配列をデータに加え、かつ、ディープマルチモーダルアーキテクチャを実装すること で、既存のSOTAを超えた。

  26. None
  27. None
  28. ゲノム配列、タンパク質構造、テキスト からタンパク質相互作用を判定

  29. 診療の質問と回答のデータセット(emrQA)の検証 臨床ノートに基づくQ&A用大規模データセット emrQAと臨床読解(CliniRC)タスクの詳細な分析

  30. 定性分析の結果、 (i)emrQAの回答は不完全であることが多く、 (ii)emrQAの問題は領域知識を使わずに回答できることが多いことがわかった。 定量的な実験では、 (iii)サンプル数の少ないサブセット(5%~20%)を使用した場合、全データセットで学習し たモデルと比較して、ほぼ同等の性能が得られること。(DocReader) (iv)この性能は人間の専門家の性能に近いこと。 (v)BERTモデルは最高性能のベースモデル(DocReader)に勝てないこと、 などの驚くべき結果が得られました。 https://github.com/xiangyue9607/CliniRC

    診療の質問と回答のデータセット(emrQA)の検証
  31. None
  32. ⚫ ロジックを使ったデータ増幅と、一貫性に関する正則化を することで、Q&Aタスクに関するRoBERTa の精度を向上 論理を使ったデータのかさ増しと一貫性の学習

  33. 教師なし学習のための、固有表現抽出 からのテンプレを使った、質問文の生成。 抽出した固有表現から、テ ンプレを使った疑問文を作 成し、それを学習させる。 Obama announced ⇒ who announced

    以前の教師なしモデルと比 較して約14%の相対的な改 善。
  34. 質問と回答だけでなく、 関係する内容も印を付けて学習させ精度向上 ⚫ 質問に関係する文脈に印をつ け、回答とその文脈を一緒に 学習させることで、読解のタ スクの精度を向上させる。

  35. 途中の証拠を探し、複数の推論が必要な質 問への回答精度の向上 ⚫ 教師なし学習のアラ イメントベースの反 復検索器(AIR)を用い て、証拠を探し、複 数の推論が必要なマ ルチホップQ&Aタス クの性能を向上させ

    る。
  36. Enhancing Answer Boundary Detection for Multilingual MachineReading Comprehension ⚫ (1)質問やパッセージを他言語に翻訳し、言語間の質問とパッセージ

    のペアを構築する混合MRCタスクと、 ⚫ (2)ウェブから収集した知識フレーズを利用した言語にとらわれない 知識マスキングタスクの補助タスクで、 ⚫ 豊富なソース言語(英語など)からの学習データを活用して、低リ ソース言語での性能を向上
  37. Contextualized Sparse Representations forReal- Time Open-Domain Question Answering ⚫ スパース表現(SPARC)を用いて

    各フレーズの埋め込み表現の精 度を上げて、フレーズ検索問題 の精度向上。ひいては、高速な Q&Aタスクに適用できる。
  38. Crossing Variational Autoencoders for Answer Retrieval ⚫ 質問から回答、回答から質問を生成させることで、回答検 索の精度を向上。SQuadの回答検索で、最新モデルを超え る。

  39. DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering TransformerベースのQAモデルで は、すべての層で入力全体の自己

    注意(すなわち、問題と入力通路 の両方)を使用しているため、時 間がかかり、メモリを多く消費す ることになります。 そのため、下位層では、質問と本 文を分けて処理することで高速化。
  40. A Corpus for Large-Scale Phonetic Typology ⚫ 音韻類型論のための初の大 規模コーパス ⚫

    VoxClamantis V1.0