在这一章将介绍另外一种分类算法——朴素贝叶斯分类算法。朴素贝叶斯分类算法的原理同样非常简单，有很多人工智能领域的分类算法都是以此为基础进行改进的，它也是分类问题中的基础算法之一。
贝叶斯分类基于概率中的一个基本公式，叫作贝叶斯公式（又称为贝叶斯定理）。这个公式的名称源于英国的概率统计学家、哲学家和牧师托马斯·贝叶斯（图4-1），他在一篇名为《论机遇问题的求解》的论文中给出了贝叶斯公式在特殊情形下的描述。他的这个重要结果其实并未在生前发表，而是由他的朋友、哲学家理查德·普莱斯在他去世后从他的笔记中整理并于1763年正式发表的。贝叶斯公式应用广泛，统计学者由此发展出一套系统的统计推理方法，叫作贝叶斯方法。美国《技术评论》在2003年还曾把贝叶斯统计技术称为全球九大开拓性新兴科技领域。
图4-1 托马斯·贝叶斯
为了描述贝叶斯公式，首先需要了解条件概率的概念。设A和B是两个随机事件，分别用P（A）和P（B）表示它们发生的概率，并且假设P（A）·P（B）≠0（这是为了保证分式中的分母不为零）。用P（A|B）和P（B|A）分别表示B或A发生的条件下另外一个随机事件发生的概率。直观的经验表明，P（A）和条件概率P（A|B）通常是不相等的。例如，一个篮球爱好者去打篮球的概率（P（A））与他在预报有雨的条件下去打篮球的条件概率（P（A|B））显然是不同的。
图4-2 韦恩图
结合上面的韦恩图（图4-2）可以直观地理解条件概率的含义。设S是某个随机试验的样本空间（所有可能出现的结果），A和B两个随机事件所对应的概率可以分别理解为红色的圆形和蓝色圆形占整个样本空间的比例。当考虑A发生的条件下B发生的概率时，所有可能出现的试验结果都落在红色圆形中，在这样的条件下，可以认为此时“样本空间”变成了红色圆形。而在这样的条件下如果B发生，试验结果只可能出现在红色圆形与蓝色圆形的交叉区域内，所以P（B|A）就是交叉区域在红色圆形中所占的比例。条件概率的计算公式为