Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ACL2020 Question & Answering

HisakaKoji
October 18, 2020

ACL2020 Question & Answering

ACL2020 Question & Answering

ACL2020 分野サーベイLT会
https://nlpaper-challenge.connpass.com/event/191318/

HisakaKoji

October 18, 2020
Tweet

Other Decks in Programming

Transcript

  1. ベンチマーク Stanford Question Answering Dataset(SQuaD)等 入力 質問文: 現在のアメリカの大統領は? + 短文:

    アメリカ合衆国大統領(アメリカがっしゅうこくだいとうりょう、 英語: President of the United States of America、略称: POTUS)は、 アメリカ合衆国の国家元首であり行政府の長たる大統領。 4年ごとのアメリカ合衆国大統領選挙(以下「大統領選挙」)に よって選出される。 歴代大統領は歴代アメリカ合衆国大統領の一覧を参照のこと。 現職は2017年1月20日より第45代のドナルド・トランプが在任。 出力 回答:ドナルド・トランプ 短文の中から答えを抽出 Question&Answering 色々な入力と出力タイプ
  2. ベンチマーク Google's Natural Questions 入力 質問文: 現在のアメリカの大統領は? + 関連するWikipediaページ 出力1

    短文形式 回答:ドナルド・トランプ 出力2 長文形式 回答: 現職は2017年1月20日より第45代 のドナルド・トランプが在任。 Question&Answering 色々な入力と出力タイプ
  3. Question&Answering 色々な入力と出力タイプ 診療カルテに基づく質問と回答 入力 質問文: この患者さんはBMIが異常だったことはあります か? 短文: 96年8月31日 ホモグラフトによる上行大動脈根置換

    術瞼下垂体手術を行いました。血行動態は安定して おり、良好な経過をたどっています。 身体検査。 BMI:33.4 肥満、ハイリスク。脈拍:60、呼吸数。18 出力 回答: BMI:33.4 肥満、ハイリスク
  4. 論文名 人 組織名 Amalgamation of protein sequence, structure and textual

    information for improving protein-protein interaction identification Pratik Dutta, Sriparna Saha Department of Computer Science & Engineering Indian Institute of Technology Patna Clinical Reading Comprehension: A Thorough Analysis of the emrQA Dataset Xiang Yue Bernal Jimenez Gutierrez The Ohio State University Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings Vikas Yadav, Steven Bethard, Mihai Surdeanu University of Arizona, Tucson, AZ, USA Graph-to-Tree Learning for Solving Math Word Problems Jipeng Zhang1,2,∗ , Lei Wang2,∗ , Roy Ka-Wei Lee3 , Yi Bin1 , Yan Wang4 , Jie Shao1,5,#, Ee-Peng Lim2 1Center for Future Media, University of Electronic Science and Technology of China 2School of Information Systems, Singapore Management University 3Department of Computer Science, University of Saskatchewan 4Tencent AI Lab 5Sichuan Artificial Intelligence Research Institute Contextualized Sparse Representations for Real-Time Open-Domain Question Answering Jinhyuk Lee1 Minjoon Seo2,3 Hannaneh Hajishirzi2,4 Jaewoo Kang Korea University1 University of Washington2 Clova AI, NAVER3 Allen Institute for AI4 RikiNet: Reading Wikipedia Pages for Natural Question Answering Dayiheng Liu♠† Yeyun Gong† Jie Fu♦ Yu Yan† Jiusheng Chen♥Daxin Jiang‡ Jiancheng Lv♠ Nan Duan† College of Computer Science, Sichuan University †Microsoft Research Asia ♦ Mila ‡Microsoft Search Technology Center Asia ♥Microsoft AI and Research [email protected] DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering Qingqing Cao, Harsh Trivedi, Aruna Balasubramanian, Niranjan Balasubramanian Department of Computer Science Stony Brook University Stony Brook, NY 11794, USA
  5. RikiNet「Google's Natural Questions」向けモデル 新しいベンチマーク 「Natural Questions」 に特化した読解モデル 「Natural Questions」は、 質問文と短文のペアでな

    く、質問文と関連する Wikipediaページ全体の データセット。 答えの箇所(short answer)だけでなく、 答えがどの段落(long answer)にあるかも答え なければないない。
  6. 新しいベンチマーク 「Natural Questions」 に特化した読解モデル 「Natural Questions」は、 質問文と短文のペアでな く、質問文と関連する Wikipediaページ全体の データセット。

    答えの箇所 (short answer)だけでな く、答えがどの段落 (long answer)にあるかも 答えなければないない。 RikiNet「Google's Natural Questions」向けモデル
  7. ▪ Dynamic Paragraph Dual-Attention Reader (DPDA) 図の左 ドキュメントと質問の表現を取得。 ▪ Multi-level

    Cascaded Answer Predictor 図の右 Short answer とlong answer と、答え方(long,short,null,yes,no) の予測を行う。 (「ノーベル賞の由来は」など、short answer では答えられない回答もあるため。) RikiNet「Google's Natural Questions」向けモデル
  8. Enhancing Answer Boundary Detection for Multilingual MachineReading Comprehension ⚫ (1)質問やパッセージを他言語に翻訳し、言語間の質問とパッセージ

    のペアを構築する混合MRCタスクと、 ⚫ (2)ウェブから収集した知識フレーズを利用した言語にとらわれない 知識マスキングタスクの補助タスクで、 ⚫ 豊富なソース言語(英語など)からの学習データを活用して、低リ ソース言語での性能を向上
  9. Contextualized Sparse Representations forReal- Time Open-Domain Question Answering ⚫ スパース表現(SPARC)を用いて

    各フレーズの埋め込み表現の精 度を上げて、フレーズ検索問題 の精度向上。ひいては、高速な Q&Aタスクに適用できる。
  10. DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering TransformerベースのQAモデルで は、すべての層で入力全体の自己

    注意(すなわち、問題と入力通路 の両方)を使用しているため、時 間がかかり、メモリを多く消費す ることになります。 そのため、下位層では、質問と本 文を分けて処理することで高速化。