Upgrade to Pro — share decks privately, control downloads, hide ads and more …

聚类分析在短小文本上的应用

 聚类分析在短小文本上的应用

毕业论文

6b1081126e1d71625c3c2aedaef77736?s=128

greenmoon55

June 24, 2014
Tweet

Transcript

  1. 聚类分析在短小文本上的应用

  2. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 •

    实验内容
  3. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 •

    实验内容
  4. 研究背景 • 聚类分析 • 短文本通常指长度比较短,一般不超过两百个字 符的文本形式。 • 短文本关键词词频很低,样本特征非常稀疏,形 式不规范,趋向口语化。 ▫

    Was about to go to the gym buuuttt...you know...rain...eh. ▫ looks like heavy rain but not much convection :-( https://twitter.com/kdennis1122/status/476029813090557955 https://twitter.com/Legwynis/status/476030781350244352
  5. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 •

    实验内容
  6. 文本聚类框架 • 预处理 ▫ Was about to go to the

    gym buuuttt...you know...rain...eh. ▫ gym, rain 文本信息的 预处理 文本表示模 型的建立 使用聚类算 法 评估聚类结 果
  7. 文本聚类框架 • 文本表示模型的建立 ▫ 传统文本:向量空间模型等 文本信息的 预处理 文本表示模 型的建立 使用聚类算

    法 评估聚类结 果
  8. 文本聚类框架 • 使用聚类算法 ▫ K-means ▫ 层次聚类 ▫ 谱聚类 文本信息的

    预处理 文本表示模 型的建立 使用聚类算 法 评估聚类结 果
  9. 文本聚类框架 • 评估聚类结果 ▫ 人工评价 ▫ 聚类评价指标 文本信息的 预处理 文本表示模

    型的建立 使用聚类算 法 评估聚类结 果
  10. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 •

    实验内容
  11. 短文本相似度 • 单词之间的相似度 ▫ Wikipedia ▫ Google ▫ WordNet •

    多个单词构成的短文本之间的相似度
  12. 单词之间的相似度(WordNet) Path ℎ, = 1 5 Hao Chen. String metrics

    and word similarity applied to information retrieval[D]. University of Eastern Finland, 2012.
  13. 单词之间的相似度(WordNet) • 基于路径的相似度算法 ▫ Path ▫ Wu & Palmer •

    基于信息内容的相似度算法 ▫ Resnik ▫ Jiang & Conrath
  14. 多个单词构成的短文本的相似度 • 最小距离法 • 最大距离法 • 平均距离法 • Matching Similarity

    0.07 + 1.11 + 0.06 + 0.09 4 = 0.33
  15. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 •

    实验内容
  16. 短文本聚类算法 • 输入为预处理后的短文本数据,以及某种短文本 相似度计算方法 • 算法: ▫ 层次聚类法 ▫ 谱聚类

  17. 短文本聚类算法 • 聚类结果评价 ▫ 聚类内紧密度SSW  数据点和聚类中心的相似度 ▫ 聚类间分离度SSB 

    不同的聚类中心之间的差异度 ▫ 基于SSW和SSB的评价准则  Ball & Hall Index  Calinski & Harabasz Index  Hartigan Index  WB-index
  18. 目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 •

    实验内容
  19. 实验 • 实验一:比较相似度算法 ▫ 使用层次聚类法和谱聚类算法对两个人造数据进行 聚类 ▫ 比较三种基于WordNet的相似度计算方法:Path、 Wu &

    Palmer和Jiang & Conrath。 ▫ 结论是基于信息内容的Jiang & Conrath算法结果较 好
  20. 实验 • 实验二:比较聚类评价准则 ▫ 人造数据 ▫ 层次聚类法 ▫ Jiang &

    Conrath相似度算法 ▫ 比较四种相似度准则 ▫ 结果差异不大,和人工判断相同
  21. 实验 • 实验二:比较聚类评价准则 1 2 3 4

  22. 实验 • 实验三:Mopsi项目数据的聚类 ▫ Mopsi项目数据(共122条)  fruit,vegetable  Department,Shop,store 

    Church,witness  ice,cream  Shop,clock,gift,jewelry  cafe,bakery,pastry,shop http://cs.uef.fi/mopsi/
  23. 实验 • 实验三:Mopsi项目数据的聚类 ▫ 根据聚类评价准则,最佳聚类数目为48 ▫ Mopsi项目数据的聚类结果经过人工评价基本符合 需求 ▫ 文本中的主题有餐厅、商店、医疗、运动等等

    ▫ 论文中有部分结果展示
  24. 总结 • 研究内容 ▫ 概括文本聚类的框架(传统文本和短文本) ▫ 研究短文本相似度算法 ▫ 深入学习并实现几种文本聚类算法 ▫

    通过实验对选择适当的相似度算法和聚类算法,对 Mopsi项目的真实数据进行聚类 • 展望 ▫ 并行计算 ▫ 更准确的文本相似度
  25. 谢谢