Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Tree kernelを使ったQuestion Answerに関する論文

Tree kernelを使ったQuestion Answerに関する論文

Tree kernelを使ったQuestion Answerに関する論文
2017/Feb/4 massive lngg勉強会資料

4119f6cf7b34d4be4cd7ac060dba8f21?s=128

Tomohiro Furukawa

February 05, 2017
Tweet

Transcript

  1. Convolutional Neural Networks vs. Convolution Kernels: Feature Engineering for Answer

    Sentence Reranking (Kateryna Tymoshenko and Daniele Bonadiman and Alessandro Moschitti) Tree kernelを使ったQuestion Answer に関する論文 株式会社massive lngg 古川 朋裕
  2. 目的:  Questionに適切なAnswerを見つけたい 基本的な考え方 方法:  Questionに対するAnswer候補をランク付け  →訓練データのQuestionとAnswerの  組み合わせと似ているほど高くなる指標を導入 木カーネルを使って計算

  3. 木カーネルとは 2つの文章の “木”と“木”が どのくらい似ているか? を算出する refer[1]

  4. 木カーネルとは ”木”をベクトルに変換 対象文章の“木”の構造と一致したら1にする “木”の構造には具体的な言葉も含まれる refer[1] ベクトルを基に“木”の構造が近い文章では 高いスコアを算出

  5. 付加情報のある木を使用 プラスNamed Entity=固有表現などの情報も付加 Personなど事象クラスを表すなど POSタグ以外の情報を付加 よりリッチな情報の“木”を基に類似判定

  6. Convolution Neural Netによる類似度算出 学習重みパラメータMatrix ①Xs1 x M = V1 ②V1

    x Xs2 = Xsim この構造がQAタスクに有効であることは “Learning to rank short text pairs with convolutional deep neural networks”で実証済み
  7. 実験データセット TREC 13 1229 + 68 questions   しかし、”Question answering using

    enhanced lexical semantic models”で   指摘されているようにQとAに語彙・文法の重複が   多く見られるため単純なパターンマッチで解けてしまうという弱点   →データセット選定・作成には    本質的に調べたい事項と一致する内容かは重要 WikiQA  2118 + 633 + 296 questions
  8. 実験条件 前処理  ・・・Illinois chunker, stanford CoreNLPなどを使用      POSやNE抽出などを行ったと思われる Convolution Tree

    Kernels(CTK)  ・・・SVMを用いて木カーネルの算出 Convolution Neural Network(CNN)  ・・・構造は前述の通り、可変長の文章を  固定長ベクトルに直すために  単純にword vectorを平均→改善の余地あり Metaclassifier  ・・・ロジスティック回帰を用いて  CTKとCNNの結果を合わせて出力すると思われる
  9. 実験結果 テストデータセット CH・・・SVMを使用した木カーネルベース判定器 V・・・多項式SVM判別器 添字はEmbeddingの種類     (AE・・・Answer Emb, QE・・・Question Emb, JE・・・Joint EmbどれもCNNで学習された)

    CNNR・・・付随的な情報入りのCNN +はカーネルでの特徴量をそのまま足したもの Metaはロジスティック回帰からアウトプットしたもの Improved version
  10. 実験結果 半分のデータの学習結果 全てのデータセット学習時の方がスコアが良く データ的には過学習は起きていないことを確認 半分のデータセットでも以前の文献より高スコア

  11. 実験結果 検証用データセット MRR・・・Mean Reciprocal Rank MAP・・・Mean Average Precision P@1・・・Precision at

    rank 1 CH+Vというカーネルでの 特徴量を足したものがベスト(CNNのEmb使用)
  12. 実験結果 TREC13 色々組み合わせるよりCH単体が一番良い

  13. まとめ CNNのEmbeddingを利用した Tree kernel = 木カーネルを用いることで Question Answeringにおいて高い精度を実現した

  14. [1]Efficient Convolution Kernels for Dependency and Constituent Syntactic Trees Alessandro

    Moschitti http://disi.unitn.it/moschitti/Teaching-slides/TK-ECML2006.pdf [2]SIGIR2012勉強会 23 Learning to Rank 数原良彦 http://www.slideshare.net/sleepy_yoshi/sigir2012-23-learning-to-rank [3]Structural Relationships for Large-Scale Learning of Answer Re-ranking Aliaksei Severyn and Alessandro Moschitti http://disi.unitn.it/moschitti/articles/2012/SIGIR2012.pdf [4]TREE KERNELS IN SVM-LIGHT Alessandro Moschitti http://disi.unitn.it/moschitti/Tree-Kernel.htm [5]WIKIQA: A Challenge Dataset for Open-Domain Question Answering Yi Yang, Wen-tau Yih, and Christopher Meek https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/YangYihMeek_EMNLP-15_WikiQA.pdf 参考文献
  15. 最高の自然言語処理プロダクトを作る 株式会社massive lnggについて 特定領域で 世界、圧倒的トップ

  16. 創業メンバー募集中 自然言語処理技術が 近い未来に社会を変えていく 新しい時代を作りたいエンジニア お気軽にご連絡を! ・connpassの連携ツイッター tftwi_13579 ・メール ・wantedly ”massive

    lngg”で募集検索