二、贝叶斯分类器.ppt

基于AODE和HNB算法的贝叶斯分类器研究 演讲者：于龙江 一、分类 1：分类是数据挖掘中一项非常重要的任务，在现实生活中有着广泛的应用。 A：根据天气状况判断该天是否适合打网球； B：根据病人各项检查指标判断其是否患有某种疾病； C：根据电子邮件的标题和内容判断是否为垃圾邮件； D：根据动物的各项特征判断动物的类别等。 2：构造分类器的方法有很多 贝叶斯方法、决策树方法、基于实例的学习方法、人工神经网络方法、支持向量机方法、基于遗传算法的方法、基于粗糙集的方法、基于模糊集的方法 3：分类步骤 A：用已知的实例集构建分类器 训练阶段（学习阶段）、训练集、 类标记已知、类标记未知、类别数未知 B：使用构造好的分类器分类未知实例： 交叉法、保持法、 留一法（交叉法的一种特例）、 回代法（一般不采用，因为它评估过的分类器倾向于过拟合 训练实例集，导致分类精度偏高） 二、贝叶斯分类器 1:朴素贝叶斯分类器 应用MAP假设分类实例x的目标是在给定描述实例的属性值 的情况下，得到最可能的类标记C(x)。公式如下： 完全估计 的时间复杂度相当于学习一个贝叶斯网络，是一个N-P难问题。 为此，提出一个假设：给定类标价时属性之间是相互条件独立的。也就是说观察到的联合概率正好是每个单独属性值概率的乘积。因此有： 我们称这种分类器为朴树贝叶斯分类器（NB），分类公式： 2：基于贝叶斯分类器的改进 因为实例属性之间是相互独立的假设，在现实中是不太可能的，因此朴素贝叶斯分类精度会偏低。 改进：弱化属性之间相互独立的假设，构建准确描述属性之间以来关系的模型。 改进朴素贝叶斯分类器的方法： A结构扩展：这一类方法用有向边来表达属性之间的依赖关系 TAN、AODE、SP-TAN、HNB等 B属性选择：这类方法在属性空降搜索一个属性子集 C局部学习：这一类方法在测试实例的局部构建一个朴素贝叶斯分类器 三、基于AODE和HNB的贝叶斯分类器改进 1：AODE算法 Webb提出了一种称为平均一依赖估测器的学习方法（AODE），AODE首先针对每一个属性节点学习一个“特殊”的树扩展的朴素贝叶斯分类器，然后对这些树扩展的朴素贝叶斯分类器进行平均。 2：HNB HNB：隐藏扩展的朴素贝叶斯分类器，就是为每一个属性节点产生一个隐藏的父亲节点，这个隐藏的父亲节点对该属性节点的影响综合了其他所有属性节点对该属性节点的影响。 3HAODE（HNB和AODE的结合） HNB和AODE算法的结合 初步构想图 四、测试数据，实验对比 1：Weka平台的UCI数据集 2：与NB、HNB、AODE、TAN、KDB算法比较 3：写论文