Yangli's Blog About
机器学习:朴素贝叶斯分类器(一)
Posted by Yang Li, , 0 comments.

朴素贝叶斯 (naive bayes) 分类器是一种简单有效的概率分类器,基于先验概率。

朴素贝叶斯分类器把分类问题看成是在已知特征 $ (f_1 = F_1, f_2 = F_2, …, f_n = F_n) $ 的情况下,求分类 $ c $ 的概率分布的问题。即:

根据贝叶斯定理,有:

其中,分子是一个和类别 c 无关的常量,令

则有,

在这里,引入一个 naive 的假设:特征 $ (f_1, f_2, …, f_n) $ 统计独立。那么,就有:

所以,

由上式可知,只要知道 $ p(c) $ 和 $ p(f_i | c) $, 就可以求出 $ p(c | f_1, f_2, ..., f_n) $. 又因为在分类问题中, $ c $ 的取值是有限的,所以也可以直接求得 $ \underset{C}{\operatorname{argmax}}\; p(c = C | f_1, f_2, ..., f_n) $.

先验概率 $ p(f_i | c) $, 在知道概率分布模型的情况下,可以利用训练数据,通过参数估计求出。而 $ p(c) $ 可以根据情况,通过训练数据求出;在无法确定的情况下,可以令

知识共享许可协议本作品由Yang Li创作,采用知识共享Attribution-NoDerivatives 4.0 国际许可协议进行许可。