聚类分析在短小文本上的应用

毕业论文

Transcript

1. 聚类分析在短小文本上的应用
2. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 • 实验内容
3. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 • 实验内容
4. 研究背景 • 聚类分析 • 短文本通常指长度比较短，一般不超过两百个字 符的文本形式。 • 短文本关键词词频很低，样本特征非常稀疏，形 式不规范，趋向口语化。 ▫ Was about to go to the gym buuuttt...you know...rain...eh. ▫ looks like heavy rain but not much convection :-( https://twitter.com/kdennis1122/status/476029813090557955 https://twitter.com/Legwynis/status/476030781350244352
5. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 • 实验内容
6. 文本聚类框架 • 预处理 ▫ Was about to go to the gym buuuttt...you know...rain...eh. ▫ gym, rain 文本信息的 预处理 文本表示模 型的建立 使用聚类算 法 评估聚类结 果
7. 文本聚类框架 • 文本表示模型的建立 ▫ 传统文本：向量空间模型等 文本信息的 预处理 文本表示模 型的建立 使用聚类算 法 评估聚类结 果
8. 文本聚类框架 • 使用聚类算法 ▫ K-means ▫ 层次聚类 ▫ 谱聚类 文本信息的 预处理 文本表示模 型的建立 使用聚类算 法 评估聚类结 果
9. 文本聚类框架 • 评估聚类结果 ▫ 人工评价 ▫ 聚类评价指标 文本信息的 预处理 文本表示模 型的建立 使用聚类算 法 评估聚类结 果
10. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 • 实验内容
11. 短文本相似度 • 单词之间的相似度 ▫ Wikipedia ▫ Google ▫ WordNet • 多个单词构成的短文本之间的相似度
12. 单词之间的相似度(WordNet) Path ℎ, = 1 5 Hao Chen. String metrics and word similarity applied to information retrieval[D]. University of Eastern Finland, 2012.
13. 单词之间的相似度(WordNet) • 基于路径的相似度算法 ▫ Path ▫ Wu & Palmer • 基于信息内容的相似度算法 ▫ Resnik ▫ Jiang & Conrath
14. 多个单词构成的短文本的相似度 • 最小距离法 • 最大距离法 • 平均距离法 • Matching Similarity 0.07 + 1.11 + 0.06 + 0.09 4 = 0.33
15. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 • 实验内容
16. 短文本聚类算法 • 输入为预处理后的短文本数据，以及某种短文本 相似度计算方法 • 算法： ▫ 层次聚类法 ▫ 谱聚类
17. 短文本聚类算法 • 聚类结果评价 ▫ 聚类内紧密度SSW  数据点和聚类中心的相似度 ▫ 聚类间分离度SSB  不同的聚类中心之间的差异度 ▫ 基于SSW和SSB的评价准则  Ball & Hall Index  Calinski & Harabasz Index  Hartigan Index  WB-index
18. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 • 实验内容
19. 实验 • 实验一：比较相似度算法 ▫ 使用层次聚类法和谱聚类算法对两个人造数据进行 聚类 ▫ 比较三种基于WordNet的相似度计算方法：Path、 Wu & Palmer和Jiang & Conrath。 ▫ 结论是基于信息内容的Jiang & Conrath算法结果较 好
20. 实验 • 实验二：比较聚类评价准则 ▫ 人造数据 ▫ 层次聚类法 ▫ Jiang & Conrath相似度算法 ▫ 比较四种相似度准则 ▫ 结果差异不大，和人工判断相同
21. 实验 • 实验二：比较聚类评价准则 1 2 3 4
22. 实验 • 实验三：Mopsi项目数据的聚类 ▫ Mopsi项目数据（共122条）  fruit,vegetable  Department,Shop,store  Church,witness  ice,cream  Shop,clock,gift,jewelry  cafe,bakery,pastry,shop http://cs.uef.fi/mopsi/
23. 实验 • 实验三：Mopsi项目数据的聚类 ▫ 根据聚类评价准则，最佳聚类数目为48 ▫ Mopsi项目数据的聚类结果经过人工评价基本符合 需求 ▫ 文本中的主题有餐厅、商店、医疗、运动等等 ▫ 论文中有部分结果展示
24. 总结 • 研究内容 ▫ 概括文本聚类的框架（传统文本和短文本） ▫ 研究短文本相似度算法 ▫ 深入学习并实现几种文本聚类算法 ▫ 通过实验对选择适当的相似度算法和聚类算法，对 Mopsi项目的真实数据进行聚类 • 展望 ▫ 并行计算 ▫ 更准确的文本相似度
25. 谢谢