选择性集成学习策略-datamininglab@xiamen.ppt

选择性集成学习策略 论文作者：邱诚 目前选择集成学习及其不足 基于聚类的方法 基于排序的方法 基于选择的方法 基于优化的方法 本文的改进方法 基于K-Means的预筛选 基于循环集成思想的静态选择策略 基于K-Means的预筛选 将两基分类器的非错分交集概率作为两分类器之间距离，进而根据K-Means将多个分类器聚类。 采用如下的距离公式： 基于循环集成思想的静态选择策略 改进的动态选择与循环集成框架 分类器数量阀值 记录局部最优分类器组合 相互一致性度量K作为差异性度量方式 实验结果与分析 本文二分类实验是在怀卡托智能分析环境（WEKA）中完成的。调用了WEKA中的20种不同类型的分类器，采用简单多数投票法（majority voting）将多个基分类器进行集成。 实验中采用十次五折交叉验证的方法对分类效果进行验证，取十次交叉验证的平均时间和平均精度进行比较。 更多关于实验结果的资料，请移步软件主页，或查看作者的论文。 LibD3C流程图 LibD3C的使用 从Eclipse中导入jar包进行调用 从weka图形界面中直接选择使用 关于软件的更多信息 LibD3C软件主页： /main/~qc/libDSCCBC.htm 谢谢！ 论文作者：邱诚 电子邮箱：pisqiucheng@ 联系电话：159 5927 1913 1.让所有的基分类器参与选择集成会耗费一些不必要的时间。本文提出先将所有的基分类器用聚类的方法进行预筛选，剔除冗余的基分类器，形成新的候选分类器集合，再进行下一步的集成学习。 2.采用改进的动态选择与循环集成框架。 * 上述定义中，D（L）表示L中所含的样本的个数，分类器Cs和Ct的错分交集越多，说明它们之间的距离越小，反之，则说明距离越大。 修剪策略的过程： 首先对分类器集合T中每个分类器C对样本集进行单独训练，收集全部的预测结果，形成向量空间O，向量空间的每个元素Oij表示分类器Ci对于样本j的 预测结果，将向量空间O作为K-均值聚类算法的样本集进行聚类，最后挑选每个聚类中预测效果最好的分类器C，形成新的候选分类器集合S。 * 1.动态选择与循环集成方法将全部的初始分类器排序并逐一循环添加，对于复杂度较高的目标问题，分类器组合规模没有得到限制，而且记录的精度值不是历史最优的，将会耗费更多的时间在循环集成上。本文添加了一些剪枝函数，设置了分类器数量阀值，避免了循环集成耗费大量时间。 本文采用的是静态选择策略，算法得到的是在验证集上精度表现最好的分类器子集。 2.本文选用相互一致性度量K作为差异性度量方式。相互一致性度量K是一种非成对差异性度量方法，在根据差异性度量结果预测系统性能方面比成对的差异性度量方法要好。且其易于理解，实现也更为简单。 * 1.让所有的基分类器参与选择集成会耗费一些不必要的时间。本文提出先将所有的基分类器用聚类的方法进行预筛选，剔除冗余的基分类器，形成新的候选分类器集合，再进行下一步的集成学习。 2.采用改进的动态选择与循环集成框架。 * 上述定义中，D（L）表示L中所含的样本的个数，分类器Cs和Ct的错分交集越多，说明它们之间的距离越小，反之，则说明距离越大。 修剪策略的过程： 首先对分类器集合T中每个分类器C对样本集进行单独训练，收集全部的预测结果，形成向量空间O，向量空间的每个元素Oij表示分类器Ci对于样本j的 预测结果，将向量空间O作为K-均值聚类算法的样本集进行聚类，最后挑选每个聚类中预测效果最好的分类器C，形成新的候选分类器集合S。 * 1.动态选择与循环集成方法将全部的初始分类器排序并逐一循环添加，对于复杂度较高的目标问题，分类器组合规模没有得到限制，而且记录的精度值不是历史最优的，将会耗费更多的时间在循环集成上。本文添加了一些剪枝函数，设置了分类器数量阀值，避免了循环集成耗费大量时间。 本文采用的是静态选择策略，算法得到的是在验证集上精度表现最好的分类器子集。 2.本文选用相互一致性度量K作为差异性度量方式。相互一致性度量K是一种非成对差异性度量方法，在根据差异性度量结果预测系统性能方面比成对的差异性度量方法要好。且其易于理解，实现也更为简单。 *