9.3 贝叶斯定理

第 9.2 节已经说明，条件的方向很重要。$P(E\mid H)$ 问的是“假设 $H$ 成立时，证据 $E$ 出现的可能性有多大”；$P(H\mid E)$ 问的则是“看到证据以后，假设 $H$ 有多可信”。这两个概率通常并不相等。

当我们根据观察结果判断隐藏原因时，这种区别随处可见：

• 某种健康状况可能导致检测阳性；
• 某台故障机器可能生产出次品；
• 某类邮件来源可能产生特定词语；
• 某种隐藏策略可能产生可见行动。

贝叶斯定理把第一个方向的条件概率转换成第二个方向。

假设、证据与四个名称

假设是表示某个潜在解释的事件。令 $H$ 表示“此人具有某种状况”，令 $E$ 表示“检测结果为阳性”。

四个量承担不同角色：

• $P(H)$ 是先验概率，表示观察 $E$ 之前 $H$ 成立的概率。
• $P(E\mid H)$ 是似然，表示在 $H$ 成立时观察到证据 $E$ 的概率。
• $P(E)$ 是证据概率，表示总体上出现 $E$ 的概率。
• $P(H\mid E)$ 是后验概率，表示观察 $E$ 以后更新得到的 $H$ 的概率。

这些名称只是描述一次更新中不同位置的量，并不是四条新的概率法则。

从同一个交集推导贝叶斯定理

乘法公式可以按两个顺序计算同一个交集：

以及

令等式右侧相等，并在 $P(E)>0$ 的前提下除以 $P(E)$，得到

这就是贝叶斯定理。可以把它的结构读成：

分子 $P(E\mid H)P(H)$ 就是 $P(E\cap H)$，表示同时属于假设和证据的概率质量。再除以全部证据质量 $P(E)$，相当于把注意力限制在证据已经出现的情况中。

找到缺失的分母

题目通常不会直接给出 $P(E)$。假设两个假设中恰有一个成立：$H$ 或它的补事件 $H^c$。证据可以沿两条路线出现：

这两部分互斥，所以概率可以相加。分别对两条路线使用乘法公式，就得到全概率公式：

把它代入贝叶斯定理：

现在，每一项都对应一条能够产生证据的路线。

筛查示例：为什么基础比例很重要

假设已知：

• 总体中有 $1\%$ 的人具有某种状况，因此 $P(H)=0.01$；
• 在具有该状况的人中，检测有 $90\%$ 的概率呈阳性，因此 $P(E\mid H)=0.90$；
• 在不具有该状况的人中，检测有 $95\%$ 的概率呈阴性。

最后一个比例叫作特异度。使用贝叶斯公式时，需要先把它转换成假阳性概率：

我们可以直接代入小数，不过把总体想象成具体人数更容易看清分母。设想有 $10{,}000$ 人：

在 $585$ 个阳性结果中，只有 $90$ 个是真阳性。因此，

后验概率约为 $15.38\%$，并不是 $90\%$。检测的 $90\%$ 灵敏度是 $P(E\mid H)$，而不是 $P(H\mid E)$。先验比例很低，意味着“不具有该状况”的人群非常大；即使假阳性率只有 $5\%$，这个大群体仍会产生许多阳性结果。这就是基础比例效应。

调整虚拟总体的患病率、灵敏度和特异度。人群会被分成真阳性、假阳性、假阴性与真阴性，使后验概率直接表现为“全部阳性中的一部分”，而不是一个没有来由的公式结果。

多于两个假设

隐藏原因可能不止两个。若事件 $H_1,H_2,\ldots,H_k$ 两两互斥，并且合起来覆盖整个样本空间，就称它们构成 $Omega$ 的一个划分：

并集公式表示至少有一个假设发生；两两互斥表示不会有两个假设同时发生。

证据概率等于所有可能证据路线之和：

求和符号 $\sum$ 表示把下标 $i$ 从 $1$ 到 $k$ 的每一项相加。对于某个特定假设 $H_j$，贝叶斯定理写成

例子：定位生产次品的机器

一家工厂的全部零件由三台机器生产：

令 $D$ 表示证据“随机选中的零件是次品”。先计算每条路线贡献的联合概率：

再把三份贡献相加：

最后，用机器 3 的贡献除以全部次品概率：

机器 3 只生产全部零件的 $20\%$，却产生约 $42.11\%$ 的次品，因为它自身的次品率更高。

连续证据意味着连续更新

完成一次更新后，后验概率可以成为下一条证据到来前的新先验。假设先观察到 $E_1$，再观察到 $E_2$，更新过程是

进行第二步时，需要知道在各个假设下，已经考虑 $E_1$ 后再出现 $E_2$ 的概率。如果模型明确规定，在给定 $H_i$ 后 $E_1$ 与 $E_2$ 条件独立，那么联合似然可以分解：

条件独立表示在“$H_i$ 已经成立”的受限世界中，两个事件相互独立。这是一条额外的模型假设，并不是贝叶斯定理自动保证的事实。如果固定假设以后两条线索仍会互相影响，直接把各自的似然相乘就会错误计算证据。

在三名嫌疑人之间展开调查，并按任意顺序选择线索。每条线索都会重新分配后验概率柱。案件板会公开先验、每个似然乘数和归一化过程，而且看似矛盾的新证据可以推翻先前的判断。

严谨的贝叶斯工作流程

1. 定义假设事件与证据事件。 2. 检查这些假设是否构成划分。 3. 按正确方向记录每个先验 $P(H_i)$ 与似然 $P(E\mid H_i)$。 4. 相乘得到每条路线的联合贡献 $P(E\cap H_i)$。 5. 把所有贡献相加，得到 $P(E)$。 6. 用目标路线的贡献除以证据总概率。 7. 检查所有后验概率都在 $0$ 与 $1$ 之间，而且总和为 $1$。

贝叶斯定理更新的是事件的概率。第 9.4 节将引入另一种工具：随机变量会给每个结果附上一个数值，从而描述概率分布与长期平均值。