了解朴素贝叶斯

Transcript

1. 了解朴素贝叶斯（Naive Bayes） yafei002
2. 概念 • 如果X表示属性集，Y表示类变量，且类变量和属性之间的关系不确定，则可以把X和 Y看作随机变量，P(Y|X)这个条件概率称为Y的后验概率，P(Y)称为Y的先验概率 • 贝叶斯公式 P(X)是常数，P(Y)表示每个类的训练记录所占的比例，容易估计，则最终归结为估计 P(X|Y)，其中一种方法是使用朴素贝叶斯分类器 ) ( ) ( ) | ( ) | ( X P Y P Y X P X Y P    
3. 朴素贝叶斯 • 条件独立性 • 设X,Y和Z表示三个随机变量的集合， 若X和Y之间条件独立 P(X,Y|Z)=P(X|Z)*P(Y|Z) • 条件独立假设：假设属性之间相互 独立 其中每个属性集X={X1,X2,…Xd}包含 d个属性 • 意义 • 多维变量的问题被约减为单变量估计 问题 • 单变量分布估计更简单，也被研究的 更透彻，达到同一精度需要的训练规 模更小
4. 估计分类属性的条件概率 P(婚姻状况=单身|Yes)=2/3 估计连续属性的条件概率：假设连续变量服 从某种概率分布，一般用高斯分布 朴素贝叶斯 朴素贝叶斯分类器对每个类Y计算后验概率
5. 朴素贝叶斯 P(No|X)=0.7*P(X|No)/P(X)=0.0016/P(X) P(Yes|X)=0.3*0/P(X)=0 因为P(No|X)> P(Yes|X) 所以记录分类为No
6. 朴素贝叶斯的特点 • 容易构造，不需要复杂的迭代求解框架，因此非常适用于规模巨大的数据集 • 容易解释 • 更重要的是即使不是最好的分类方法，通常也是非常稳健的 • 面对孤立的噪点 • 面对无关属性 • 相关的属性会降低分类器的性能，因为条件独立假设已不成立
7. 参考资料 PANG-NINGTAN, MICHAELSTEINBACH, & VIPINKUMAR. (2011). 数据挖掘导 论:完整版. 人民邮电出版社. 吴信东, & VipinKumar. (2013). 数据挖掘十大算法. 清华大学出版社.