贝叶斯网络介绍续.pptx

贝叶斯网络介绍 Anders L. Madsen HUGIN EXPERT A/S 2012.03 大 纲 贝叶斯网络的定义 贝叶斯网络的规范和结构 概率推理和证据 条件独立和解释 2 贝叶斯网络的定义 一个贝叶斯网络N=(G,P)包含： 一组节点V和节点之间的有向弧E ⊆ V × V 节点与有向弧共同构成了一个非循环的有向图 （DAG） G=（V,E） 每个节点X ∈ V拥有有限个域，例如||X|| = n. 对于每个节点X及其父类？（Parents）Y1, . . . , Yn都有条件概率 P(X | Y1, . . . , Yn)成立 下面对于不确定度的一种数学解释为 3 模型设定 贝叶斯网格N = (G,P)包含： 定性部分，即DAG结构G=(V,E) 定性部分，即条件概率分布P = {P(child | parents)} 下图为一个有关于条件概率分布的模型图 4 模型设定 模型建立是一个迭代过程 1设计 - 确定变量和关联，并进行模型验证 2实现 – 提取参数值，即数字 3测试 – 利用已知结果的案例进行测试 4分析 - 使用分析工具来解决故障 5 案例1：窃贼还是地震 福尔摩斯先生在他的办公室工作时接到了他邻居华生的电话，华生告诉他他的窃贼警报已经解除。被告知有窃贼闯入他家然后福尔摩斯迅速开车回家。在路上，他听广播得知他家那里发生了地震。当得知地震有可能引起警报，福尔摩斯先生又回去工作了。 6 案例1：窃贼还是地震 有了定量部分，我们即拥有了完整的贝叶斯网络。 7 案例2：医疗诊断 一种特别的心脏病患病率为千分之一。 对这种疾病有一种检测手段，对于真的患有这种疾病的人那么这种检测手段的准确率为100%，对于没有患有这种疾病的人检测的准确度为95%（即可能有5%的人并没有患病但却被检查为患了这种疾病） 如果随即的选出一个人并被检测出患病，那么他真的患病的概率是多少？ 8 链式法则 链式法则表明了贝叶斯网络是联合分布概率的一种表述： 设U = {X1, . . . , Xn}为变量域 从联合分布概率P(U)，我们可以计算各种边际和条件，例如P(Xi ), P(Xi | ǫ)等等。 设N = (G,P)为U内的一个贝叶斯网络 反复应用基本原理，我们可以让变量(X1, X2, . . . , Xn)排序并计算P(X1, . . . , Xn) = P(X1)P(X2 | X1)P(X3 | X1, X2) · · · P(Xn | X1, . . . , Xn−1). 9 链式法则 设(X1, X2, . . . , Xn)为一个拓扑排序G 即pa(Xi ) {X1, . . . , Xi−1} 8i d分离域： Xi ⊥ nd(Xi ) | pa(Xi ) pa(X) and nd(X)为父类，并且X没有子类，相互独立。 这就是贝叶斯网络的马卡洛夫性质。 可得U的联合分布律为： 10 案例1窃贼还是地震的贝叶斯网络图 11 通过链式法则，我们可以计算出联合分布律为： P(B, A, E,R,W) = P(W | A, B, E,R)P(A | B, E,R)P(R | B, E)P(E | B)P(B). = P(W | A)P(A | B, E)P(R | E)P(E)P(B). 最小贝叶斯网络 对于每个节点X ∈ V以及每个父类Y ∈ pa(X),（X不依赖于Y pa(X) \ {Y}）即为最小的贝叶斯网络。 即： 例如，地震（E）不是华生（W）致电 福尔摩斯（H）的直接原因，同理， 窃贼（B）也不是警报响起（R）的直接原因 模型的复杂度影响知识引出以及结论推导。 12 蒙特霍尔问题 有三扇门，其中有一扇门后面有奖品。主持人让你选择其中任意一扇门，然后你选择一扇门A。此时主持人打开了另一扇门B（背后没有奖品）。现在主持人允许你坚持原来的决定，或者你可以选择剩下的一扇门C。 哪个门后最有可能有奖金？ 13 概率推断 我们想要做什么？ 根据我们的观测结果我们要更新我们的想法并且回答模型中的问题； 计算后验概率P(X | ǫ) 计算证据的概率P(ǫ) 计算联合分布律P(Xi1 , . . . , Xin ) 找到概率最大的变量结构 计算分布P(X | ǫ \ ǫX ) for X 2 ǫ 这些计算通常在二级计算机构中进行 14 解答疑问 听到警报的概率是多大？ 通常而言，概率推导是NP-hard问题 Hugin Decision Engine运用了二级计算机构来计算推论。 15 推断的复杂性 求P(A)如 包含了160次乘法，32次加法，以及总共有32个数字 提高推断的效率关键是找到一个好的