贝叶斯网络基本原理

 一、贝叶斯网络定理  
贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。让我们先来看一看贝叶斯基本公式：

1. 条件概率

   设、是两个事件，且，称

   

   为在事件发生的条件下事件发生的条件概率。

2. 联合概率

   设、是两个事件，且，它们的联合概率为：

   

3. 全概率公式

   设试验的样本空间为，为的事件，，，…，为E的一组事件，满足：①；②，，…，互不相容；③，。则有全概率公式：

   

4. 贝叶斯公式

贝叶斯网络是一个具有概率分布的有向弧段（DAG）。它是由节点和有向弧段组成的。节点代表事件或变量，弧段代表节点之间的因果关系或概率关系，而弧段是有向的，不构成回路。

图1所示为一个简单的贝叶斯网络模型。它有5个节点和5个弧段组成。图中没有输入的A1节

点称为根节点，一段弧的起始节点称为其末节点的母节点，而后者称为前者的子节点。

图1 简单的贝叶斯网络模型

贝叶斯网络能够利用简明的图形方式定性地表示事件之间复杂的因果关系或概率关系，在给定某些先验信息后，还可以定量地表示这些关系。网络的拓扑结构通常是根据具体的研究对象和问题来确定的。目前贝叶斯网络的研究热点之一就是如何通过学习自动确定和优化网络的拓扑结构。

条件独立性假设是贝叶斯网络进行定量推理的理论基础。有了这个假设，就可以减少先验概率的数目，简化计算和推理过程。

贝叶斯网络的条件独立性假设的一个很重要的判据就是著名的分隔定理（d-separation）。我们先来看看这个定理。

设A、B、C为网络节点中三个不同的子集，当且仅当A与C间不存在以下情况的路径时，我们称B隔离了A和C，记为<A|B|C>_D：

1. 所有含有聚合弧段的节点或其子节点是B的元素；

2. 其它节点不是B的元素。

同时满足以上两个条件的路径称作激活（active）路径，否则叫作截断（blocked）路径。这个判据指出，如果B隔离了A和C时，那么可以认为A与C是关于B条件独立的，即：

有了条件独立性假设就可以大大简化网络推理计算。但是，与其他形式的不确定性推理方法一样，贝叶斯网络推理仍然需要给出许多先验概率，它们是根节点的概率值和所有子节点在其母节点给定下的条件概率值。

这些先验概率，可以是由大量历史的样本数据统计分析得到的，也可由领域专家长期的知识或经验总结主观给出的，或者根据具体情况事先假设给定。

与其它算法一样，贝叶斯网络推理算法大致也可分为精确算法和近似算法两大类。

理论上，所有类型的贝叶斯网络都可以用精确算法来进行概率推理。但Cooper指出，贝叶斯网络中的精确概率推理是一个N－P难题。对于一个特定拓扑结构的网络，其复杂性取决于节点数。所以，精确算法一般用于结构较为简单的单联网络（Single connected）。对于解决一般性的问题，我们不希望它是多项式次复杂。因而，许多情况下都采用近似算法。它可以大大简化计算和推理过程，虽然它不能够提供每个节点的精确概率值。