文献紹介 9月14日

Transcript

1. จݙ঺հ  ⻑岡技術科学⼤学 M1 桾澤 優希 Semantic Clustering and Convolutional Neural Network for Short Text Categorization
2. จݙ ▪ 論文 ▪ Peng Wang, Jiaming Xu, Bo Xu, Cheng-Lin Liu, Heng ZhangFangyuan Wang, Hongwei Hao ▪ Semantic Clustering and Convolutional Neural Networkfor Short Text Categorization ▪ Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Short Papers) ▪ pp.352-357 ▪ キーワード ▪ 文脈, CNN, 単語埋め込み, 文書分類 2
3. ֓ཁ ▪ 短いテキストではコンテキストが欠如し曖昧にな る ▪ 意味的クラスタリングと畳み込みニューラルネッ トワークを用いてテキストをモデル化 ▪ 文書分類タスクにおいて高い精度を記録 3
4. ಋೖ ▪ 従来のBoWの手法では短い文の場合意味の曖昧性 とデータスパースネスが問題となる ▪ 問題解決のため様々な手法が提案されている ▪ Biterm Topic Model (BTM) ▪ Latent Dirichlet Allocation (LDA) ▪ これらは依然としてテキストをBoWとして見ている 4
5. ಋೖ ▪ Word2Vec ▪ Word2VecのベクトルとCNNを組み合わせることで 短いテキストに対するより良いモデルを提案 5
6. ཧ࿦ 6 ▪ 密度のピークに基づくクラスタリングで 単語埋め込みのベクトルをクラスタリング ▪ fast clustering algorithm (Rodriguez and Laio, 2014)
7. ཧ࿦ 7 ▪ 意味的構成をn-gramの単語埋め込みに適用させ 短文で出現するSemantic Unicを検出 ▪ 閾値を超えるSUはCNNに入力 そうでないものはドロップアウト
8. ཧ࿦ 8 密度 単語i, j間の距離 閾値 密度の高いところからの距離
9. ཧ࿦ 9
10. ཧ࿦ 10
11. ཧ࿦ 11 ▪ 短いテキストからどのようにSUを見つけるか
12. ཧ࿦ 12 ▪ 短いテキストからどのようにSUを見つけるか ▪ 候補となるSUsとSemantic Cliquesの距離を計算し、 一定しきい値以下のものをSUとしてCNNに入力 ▪ そうでないものは入力しない
13. ࣮ݧ 13 ▪ 文書分類タスク ▪ Google Snippets ▪ 10,060 の訓練データと 2,280 のテストデータ ▪ 8カテゴリに分類 ▪ 1 snippet あたり 平均18.07単語 ▪ TREC ▪ 質問のデータセット ▪ 6 different question types ▪ 5,452 の訓練データと 500 のテストデータ
14. ࣮ݧ 14
15. ࣮ݧ 15