机器学习 课件 7.1概率无向图模型.pdf

概率无向图模型

概率图模型

概率图模型

（probabilisticgraphicalmodels）是一种用图结构来描述多

元随机变量之间条件独立关系的概率模型。

简称图模型（graphicalmodel，GM）

•图中每个结点表示一个随机变量或⼀组随机变量，节点之间的边表⽰

这些变量之间的概率关系。

有向图模型使用有向无环图表示变量间的关系

概率图模型

无向图模型使用无向图表示变量间的关系

概率无向图模型

概率无向图模型

成对马尔科夫性：设u和v是无向图G中任意两个没有边连接的节点，其他所

有节点记为O,节点u、v和O分别对应随机变量、和，

给定随机变量组的条件下随机变量和条件独立，即

p(,|)=|)|)u

v

O

没有直连边的任意两个节点独立

概率无向图模型

局部马尔可夫性

设v

∈是无向图G中任意一个结点，W是V有边连接的所有结点，O是V，

W以外的其他所有结点。V、W和O对应的随机变量分别为、和，

局部马尔可夫性：在给定随机变量组的条件下随机变量和独立，即：

p(,|)=|)|)

在|)0时|)=|,)

概率无向图模型

全局马尔可夫性

设结点集合A,B是在无向图G中被结点集合C分开的任意结点集合。从结点集合

A中的点到达结点集合B中，必须经过节点集合C。结点集合A,B和C所对应的

随机变量组分别是

、和。

全局马尔可夫性：给定随机变量组条件下随机变量组和

条件独立，即

X,X|X)=X|X)X|X

ABCACBC

概率无向图模型

概率无向图模型

概率无向图模型：设有联合概率分布P(Y)，由无向图G(V,E)表示,V是结

点集，E是边集，结点表示随机变量，边表示随机变量之间的依赖关系。如果

联合概率分布P(Y)满足成对、局部或全局马尔可夫性，则称此联合概率分布

为概率无向图模型或马尔可夫随机场。

概率无向图模型因子分解

团（clique)：无向图G中任何两个结点均有边连接的结点子集。

maximalcliqueCG

最大团（)：若是无向图的一个团，并且不能再加进任何一

个G的结点使其成为一个更大的团，则称此C为最大团。

团有7个：{x1,x2},{x1,x3},{x1,x4},{x2,x3