Tree kernelを使ったQuestion Answerに関する論文

Tree kernelを使ったQuestion Answerに関する論文
2017/Feb/4 massive lngg勉強会資料

Transcript

1. Convolutional Neural Networks vs. Convolution Kernels: Feature Engineering for Answer Sentence Reranking （Kateryna Tymoshenko and Daniele Bonadiman and Alessandro Moschitti） Tree kernelを使ったQuestion Answer に関する論文 株式会社massive lngg 古川　朋裕
2. 目的： 　Questionに適切なAnswerを見つけたい 基本的な考え方 方法： 　Questionに対するAnswer候補をランク付け 　→訓練データのQuestionとAnswerの 　組み合わせと似ているほど高くなる指標を導入 木カーネルを使って計算
3. 木カーネルとは ２つの文章の “木”と“木”が どのくらい似ているか？ を算出する refer[1]
4. 木カーネルとは ”木”をベクトルに変換 対象文章の“木”の構造と一致したら1にする “木”の構造には具体的な言葉も含まれる refer[1] ベクトルを基に“木”の構造が近い文章では 高いスコアを算出
5. 付加情報のある木を使用 プラスNamed Entity=固有表現などの情報も付加 Personなど事象クラスを表すなど POSタグ以外の情報を付加 よりリッチな情報の“木”を基に類似判定
6. Convolution Neural Netによる類似度算出 学習重みパラメータMatrix ①Xs1 x M = V1 ②V1 x Xs2 = Xsim この構造がQAタスクに有効であることは “Learning to rank short text pairs with convolutional deep neural networks”で実証済み
7. 実験データセット TREC 13 1229 + 68 questions 　　しかし、”Question answering using enhanced lexical semantic models”で 　　指摘されているようにQとAに語彙・文法の重複が 　　多く見られるため単純なパターンマッチで解けてしまうという弱点 　　→データセット選定・作成には 　　　本質的に調べたい事項と一致する内容かは重要 WikiQA 　2118 + 633 + 296 questions
8. 実験条件 前処理 　・・・Illinois chunker, stanford CoreNLPなどを使用 　　　　 POSやNE抽出などを行ったと思われる Convolution Tree Kernels(CTK) 　・・・SVMを用いて木カーネルの算出 Convolution Neural Network(CNN) 　・・・構造は前述の通り、可変長の文章を 　固定長ベクトルに直すために 　単純にword vectorを平均→改善の余地あり Metaclassifier 　・・・ロジスティック回帰を用いて 　CTKとCNNの結果を合わせて出力すると思われる
9. 実験結果　テストデータセット CH・・・SVMを使用した木カーネルベース判定器 V・・・多項式SVM判別器 添字はEmbeddingの種類 　　　　(AE・・・Answer Emb, QE・・・Question Emb, JE・・・Joint EmbどれもCNNで学習された) CNNR・・・付随的な情報入りのCNN ＋はカーネルでの特徴量をそのまま足したもの Metaはロジスティック回帰からアウトプットしたもの Improved version
10. 実験結果　半分のデータの学習結果 全てのデータセット学習時の方がスコアが良く データ的には過学習は起きていないことを確認 半分のデータセットでも以前の文献より高スコア
11. 実験結果 検証用データセット MRR・・・Mean Reciprocal Rank MAP・・・Mean Average Precision P@1・・・Precision at rank 1 CH+Vというカーネルでの 特徴量を足したものがベスト（CNNのEmb使用）
12. 実験結果 TREC13 色々組み合わせるよりCH単体が一番良い
13. まとめ CNNのEmbeddingを利用した Tree kernel = 木カーネルを用いることで Question Answeringにおいて高い精度を実現した
14. [1]Efficient Convolution Kernels for Dependency and Constituent Syntactic Trees Alessandro Moschitti http://disi.unitn.it/moschitti/Teaching-slides/TK-ECML2006.pdf [2]SIGIR2012勉強会 23 Learning to Rank 数原良彦 http://www.slideshare.net/sleepy_yoshi/sigir2012-23-learning-to-rank [3]Structural Relationships for Large-Scale Learning of Answer Re-ranking Aliaksei Severyn and Alessandro Moschitti http://disi.unitn.it/moschitti/articles/2012/SIGIR2012.pdf [4]TREE KERNELS IN SVM-LIGHT Alessandro Moschitti http://disi.unitn.it/moschitti/Tree-Kernel.htm [5]WIKIQA: A Challenge Dataset for Open-Domain Question Answering Yi Yang, Wen-tau Yih, and Christopher Meek https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/YangYihMeek_EMNLP-15_WikiQA.pdf 参考文献
15. 最高の自然言語処理プロダクトを作る 株式会社massive lnggについて 特定領域で 世界、圧倒的トップ
16. 創業メンバー募集中 自然言語処理技術が 近い未来に社会を変えていく 新しい時代を作りたいエンジニア お気軽にご連絡を！ ・connpassの連携ツイッター tftwi_13579 ・メール ・wantedly ”massive lngg”で募集検索