[2018年最新整理]06-贝叶斯学习.ppt

ML ML 武汉科技大学人工智能与机器学习研究室 武汉科技大学人工智能与机器学习研究室 机器学习 贝叶斯推论 * 经济管理学院 管理科学与工程 217107010169 冯泽彪 概述 贝叶斯推论是一种用贝叶斯定理来更新概率获得证据假设的统计推断方法。 贝叶斯推断是统计学中的一项重要技术，特别是在统计学上的数理统计方面。 贝叶斯更新在应对系列数据的动态分析中是极其重要的。贝叶斯推断已经在包括科学，工程，哲学，医学和法律等广泛的范围内得到应用。 在决策哲学中，贝叶斯推断与主观概率密切相关，通常称为“贝叶斯概率”。贝叶斯概率为更新信念提供了一个合理的方法。 * 27.1贝叶斯规则介绍 * 27.1.1贝叶斯公式 ?| 表示条件概率; 更具体地说，是指给定的，也就是其后面的为已经确定发生的。 ?H代表任何可能受到数据影响的假设（下面称为证据）。 通常会有相互竞争的假设，从中选择最可能的假设。 ?证据E对应于未用于计算先验概率的新数据。 ?先验概率P（H）是观察到E之前的H的概率。 这表明，在获得当前证据之前，先前对假设为真的概率进行了估计。 ?P（H | E）是后验概率，是给定E的H的概率，即观察到E之后的概率。 这告诉我们想知道的是：给出观察证据的假设的概率。 ?P（E | H）是给定H的观测概率。 作为H与E固定的函数，这是可能性。 似然函数不应与P（H | E）混淆为H的函数，而不是E的函数。 它表明了证据与给定假设的一致性。 ?P（E）有时被称为边际概率或“模型证据”。 这个因素对于所有可能的假设都是一样的。 （这可以通过假设H不出现在符号中的任何地方来看出来，这一点与所有其他因素不同。）这意味着这个因素并没有进入确定不同假设的相对概率。 * 27.1.1贝叶斯公式 * 27.1.2非公式化 如果证据不符合假设，则应拒绝假设。 但是，如果一个假设极不可能是先验的，那么即使证据看起来相匹配，也应该拒绝它。 例如，假设我对朋友的新生婴儿的性质有各种各样的假设，包括： ?H1：宝宝是一个棕发男孩。 ?H 2：宝宝是金发女孩。 ?H 3：宝宝是狗。 然后考虑两种情况： * 27.1.2非公式化 我以一个金发女婴的照片的形式提供了证据。 我发现这个证据支持H 2并且反对H 1和H 3。 我以一张小狗的照片的形式提供证据。 虽然这个孤立对待的证据支持H 3，但是我对这个假设（人类可以生一只狗）的信念是非常小的，所以后验概率是很小的。 * 27.1.2非公式化 因此，贝叶斯推理的关键在于它通过应用贝叶斯规则提供了将新证据与先验信念相结合的原则性方法。 （与频率论推论相反，后者仅依赖于证据作为一个整体，而不涉及先验信念）。此外，贝叶斯规则可以迭代应用：在观察到一些证据后，得到的后验概率可以被看作是 先验概率和由新证据计算的新的后验概率。 这允许贝叶斯原则适用于各种证据，无论一次或一次查看。 这个过程被称为“贝叶斯更新”。 * 27.2.2贝叶斯推断 ?先验分布是在观察到任何数据之前参数的分布，即p（θ|α） ?先验分布可能不容易确定。 在这种情况下，我们可以先使用Jeffreys获得后验分布，然后用更新的观察值更新它们。 ?采样分布是观测数据在其参数条件下的分布，即p（X |θ）。 这也被称为可能性，特别是当被视为参数的函数时，有时写成L（θ| X）= p（X |θ）。 * 27.2.2贝叶斯推断 ?先验分布是在观察到任何数据之前参数的分布，即p（θ|α） ?先验分布可能不容易确定。 在这种情况下，我们可以先使用Jeffreys获得后验分布，然后用更新的观察值更新它们。 ?采样分布是观测数据在其参数条件下的分布，即p（X |θ）。 这也被称为可能性，特别是当被视为参数的函数时，有时写成L（θ| X）= p（X |θ）。 * 举例：一个医疗诊断问题 有两个可选的假设：病人有癌症、病人无癌症 可用数据来自化验结果：正+和负- 有先验知识：在所有人口中，患病率是0.008 对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97% 总结如下 P(cancer)=0.008, P(?cancer)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|?cancer)=0.03, P(-|?cancer)=0.97 * 举例：一个医疗诊断问题（2） 问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？求后验概率P(cancer|+)和P(?cancer|+) 利用式子6.2找到极大后验假设 P(+|cancer)P(cancer)=0.0078 P(+|?cancer)P(?cancer)=0.0298 hMAP=?cancer 确切的后验概率可将上面