典型的生成学习方法，基本假设是条件独立性

模型算法

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)，具体方法是通过参数估计的方法学习类标签的先验概率和对应的条件概率分布，然后利用贝叶斯公式对后验概率进行计算，将后验概率最大的类进行输出。
image.png
在实际计算的过程中，由于条件概率分布的参数过多，在数据量不是特别大的时候难以求得联合概率分布，于是作了条件独立性的假设（Conditionally Independent）（名字的来源，高效易实现，但分类的性能不一定高），得到最终的朴素贝叶斯分类器：
image.png
分母完全相同，上式演变为：
image.png

参数估计

极大似然估计

参数估计一般采用极大似然估计：
image.png

朴素贝叶斯估计

实际运用过程中为了避免估计的概率值为零的情况（放大了单一特征对评估结果的影响，比如一个长头发的男人会被判为出现概率为0，会影响后验概率的计算结果），一般采用贝叶斯估计：
image.png

后验概率最大化=期望风险最小化（0-1损失函数）

可以通过证明发现，后验概率最大意味着期望风险值是最小化的。同样的输入数据，当后验概率最大时，分错的期望风险也是最小的。
image.png
当变量是连续变量时，计算概率则需要其他的方法（高斯）

延伸

image.png