聚类分析在短小文本上的应用

目录 • 研究背景 • 文本聚类框架 • 短文本相似度 • 短文本聚类算法 •
实验内容

研究背景 • 聚类分析 • 短文本通常指长度比较短，一般不超过两百个字符的文本形式。 • 短文本关键词词频很低，样本特征非常稀疏，形式不规范，趋向口语化。 ▫
Was about to go to the gym buuuttt...you know...rain...eh. ▫ looks like heavy rain but not much convection :-( https://twitter.com/kdennis1122/status/476029813090557955 https://twitter.com/Legwynis/status/476030781350244352

实验内容

文本聚类框架 • 预处理 ▫ Was about to go to the
gym buuuttt...you know...rain...eh. ▫ gym, rain 文本信息的预处理文本表示模型的建立使用聚类算法评估聚类结果

文本聚类框架 • 文本表示模型的建立 ▫ 传统文本：向量空间模型等文本信息的预处理文本表示模型的建立使用聚类算
法评估聚类结果

文本聚类框架 • 使用聚类算法 ▫ K-means ▫ 层次聚类 ▫ 谱聚类文本信息的
预处理文本表示模型的建立使用聚类算法评估聚类结果

文本聚类框架 • 评估聚类结果 ▫ 人工评价 ▫ 聚类评价指标文本信息的预处理文本表示模
型的建立使用聚类算法评估聚类结果

实验内容

短文本相似度 • 单词之间的相似度 ▫ Wikipedia ▫ Google ▫ WordNet •
多个单词构成的短文本之间的相似度

单词之间的相似度(WordNet) Path ℎ, = 1 5 Hao Chen. String metrics
and word similarity applied to information retrieval[D]. University of Eastern Finland, 2012.

单词之间的相似度(WordNet) • 基于路径的相似度算法 ▫ Path ▫ Wu & Palmer •
基于信息内容的相似度算法 ▫ Resnik ▫ Jiang & Conrath

多个单词构成的短文本的相似度 • 最小距离法 • 最大距离法 • 平均距离法 • Matching Similarity
0.07 + 1.11 + 0.06 + 0.09 4 = 0.33

实验内容

短文本聚类算法 • 输入为预处理后的短文本数据，以及某种短文本相似度计算方法 • 算法： ▫ 层次聚类法 ▫ 谱聚类

短文本聚类算法 • 聚类结果评价 ▫ 聚类内紧密度SSW  数据点和聚类中心的相似度 ▫ 聚类间分离度SSB 
不同的聚类中心之间的差异度 ▫ 基于SSW和SSB的评价准则  Ball & Hall Index  Calinski & Harabasz Index  Hartigan Index  WB-index

实验内容

实验 • 实验一：比较相似度算法 ▫ 使用层次聚类法和谱聚类算法对两个人造数据进行聚类 ▫ 比较三种基于WordNet的相似度计算方法：Path、 Wu &
Palmer和Jiang & Conrath。 ▫ 结论是基于信息内容的Jiang & Conrath算法结果较好

实验 • 实验二：比较聚类评价准则 ▫ 人造数据 ▫ 层次聚类法 ▫ Jiang &
Conrath相似度算法 ▫ 比较四种相似度准则 ▫ 结果差异不大，和人工判断相同

实验 • 实验二：比较聚类评价准则 1 2 3 4

实验 • 实验三：Mopsi项目数据的聚类 ▫ Mopsi项目数据（共122条）  fruit,vegetable  Department,Shop,store 
Church,witness  ice,cream  Shop,clock,gift,jewelry  cafe,bakery,pastry,shop http://cs.uef.fi/mopsi/

实验 • 实验三：Mopsi项目数据的聚类 ▫ 根据聚类评价准则，最佳聚类数目为48 ▫ Mopsi项目数据的聚类结果经过人工评价基本符合需求 ▫ 文本中的主题有餐厅、商店、医疗、运动等等
▫ 论文中有部分结果展示

总结 • 研究内容 ▫ 概括文本聚类的框架（传统文本和短文本） ▫ 研究短文本相似度算法 ▫ 深入学习并实现几种文本聚类算法 ▫
通过实验对选择适当的相似度算法和聚类算法，对 Mopsi项目的真实数据进行聚类 • 展望 ▫ 并行计算 ▫ 更准确的文本相似度

谢谢

聚类分析在短小文本上的应用

聚类分析在短小文本上的应用

greenmoon55

Other Decks in Technology

Featured

Transcript