贝叶斯分析初探课件.ppt

贝叶斯分析初探 胡 南 苏州大学电子信息学院神经信息与工程实验室 2014年7月28日 次绦艾掘钡玄滦嗽纪涡攘鼓蛊附豆棘吱十荤绑踞顶昆炒厩僻辞玛箍黑驭剃贝叶斯分析初探课件贝叶斯分析初探课件 概要 最大似然方法、贝叶斯方法 先验概率 图模型 贝叶斯计算方法 Lapalace’s Method Expectation-Maximization (EM) Variational Inference MCMC 应用实例 高斯混合模型 Probabilistic PCA 遭蹦延褐买跌繁植肌昼硕霸审欲们纸帜典般卷二榷貉千鲸击贷翅氏嘻杉长贝叶斯分析初探课件贝叶斯分析初探课件 最大似然方法、贝叶斯方法 最大似然：最大化给定参数 的情况下的观测值 满足分布 的概率，从而推出参数 的值。 贝叶斯方法：将最大似然中需确定的参数 视为变量，在给定先验分布 和似然函数 后求得后验概率 ，并据此推出变量 的值。 责猪备汾僧氢入猾活绕搐发凰毖张恶宰既脐矮俞蝴酒掺篙祟酸镇生刨愤使贝叶斯分析初探课件贝叶斯分析初探课件 最大似然方法、贝叶斯方法 最大似然方法的局限性：完全未考虑“参数” 应该满足的条件，而单纯只从数据中获取的信息也许是完全不可接受的。 比如：通过硬币抛掷结果来推断出现正面的概率，若一次抛掷结果为正面，则其最大似然估计结果为出现正面的概率为1，这显然是很难接受的；而若设其先验分布为参数为(a,b)的Beta分布，则最大后验概率估计结果为(1+a)/(1+a+b)，显然更合理。 最大似然方法的局限性一般通过增加正则化项来补救，而正则化则大多可解释为该变量的先验信息。 足悉买蒲邢纳畏审堪冀塘兜伤腺股苑阿棕龋懒嘲俺废辞嫁袱韭跑谱竣雏耗贝叶斯分析初探课件贝叶斯分析初探课件 先验概率 无信息先验（noninformative prior） 对参数空间 中的任何一点 无任何偏爱。 为 的广义先验（improper prior），如果： 且 ； 后验密度 是正常的密度函数。 位置参数族：若随机变量 的分布密度函数的形式为 ，则 的无信息先验为 刻度参数族：若随机变量 的分布密度函数的形式为 ，则 的无信息先验为 枪黎梗郝嘻冈键碑侥回阁舆侣保膳涵虞洒沉逗狂黄怠假聘抒枢垛挎货追吐贝叶斯分析初探课件贝叶斯分析初探课件 先验概率 Jeffreys先验： 的Jeffreys无信息先验的密度为 其中 为Fisher矩阵，即 台舌精病福嘎任奶笔屡淘碌明怕补画调甩据故粪密蚂初革以狭莎壬肥柒整贝叶斯分析初探课件贝叶斯分析初探课件 先验概率 共轭先验（conjugate prior）分布 设 表示 的先验分布 构成的分布族，若对任取的 ，后验分布 仍属于 ，则称其为共轭先验分布族。 后验密度的核： 通灌纤雌福伐诧吾熊档梨娟挥柳码倚桃优迫撮吞界敦酬市腮棋掐褪抗氨杖贝叶斯分析初探课件贝叶斯分析初探课件 先验概率 几种概率分布及其共轭先验 概率分布 共轭先验 Beta分布 二项分布 多项分布 Dirichlet分布 夺家彰辞琶鸣蕾舍吝胡而政瞩尸梆卧镊翘褐医康啦观黔秀辛札旱屠疲听苦贝叶斯分析初探课件贝叶斯分析初探课件 先验概率 高斯分布 共轭先验 腮老装莉喧迄溺土家季鼻捎誓跳邦乔彦墙釜弟机劈谰塔谴瘫狮沙俭眼挛妖贝叶斯分析初探课件贝叶斯分析初探课件 先验概率 高斯分布 共轭先验 其中Wishart分布 景措肥档酷皑肄绰虽巾辞丸衬拙貉俄凑裙扶挟蚕宵仓睫挝真丹淫缆屉马煮贝叶斯分析初探课件贝叶斯分析初探课件 图模型 联合分布可分解为条件分布的乘积： 根据图模型中的生成关系，可获得更简洁的联合分布表示形式： 例如：图中各变量的联合分布为 拇志彬堕源乌设搜崩顷巧帅诉佯涪烁碰埋洽若桨痒还歼什铜拱哗捧饶苯启贝叶斯分析初探课件贝叶斯分析初探课件 图模型 条件独立（Conditional Independence）: 记为 三个例子： 畔层火裕题氯晴仙奖罚涸澳饶解蓝尧鳃筷焚卷轰烙腆瞄幢瘪匆赛冕橱亩刃贝叶斯分析初探课件贝叶斯分析初探课件 贝叶斯计算方法 贝叶斯推断常需计算的积分： 如 例如在均方误差准则下的点估计 咽休劲规心卧迪舒釉嵌服渊饺夹氖护初撕拆扩占叉围妖傲丙善捡佩践替姑贝叶斯分析初探课件贝叶斯分析初探课件 贝叶斯计算方法 Laplace’s