基于遗传算法的高维数据特征选择和特征子集的组合分析-计算机软件与理论专业论文.docx

基于遗传算法的高维数据特征选择和特征子集的组合分析Feature 基于遗传算法的高维数据特征选择和特征子集的组合分析 Feature Selection Based on GA and Analysis of Feature Subsets Ensemble Compmer Software and Theory Name：Huang Huanyu Supervisor：Professor Yin Jian Abstract The eme唱ence of high-dimensional machine learning fields such bioinformatics，information retrieval and image processing posed severe challenges to the e五sting feature selection and machine learning algorithms．This paper mainly studies feature selection and feature subsets ensemble． A new feature selection method FSRAGA iS proposed，which combining Filter and Wrapper models．It first filters features by feature relevance analysis．and realizes the near optimal feattire subset search the compact feattire subset by genetic algorithm；and the feature subset is evaluated bv山e classification inaccuracy．The experiments shows proposed algorithm provides beaer fcature subsets．which results ．m the lOW．dimensional data and the good classification accuracy． Based on FSRAGA，a series of feature subsets with beRer classification accuracy are provided．Stability of feature subsets is used criteria，to construct ensemble classifiers by searching feature subsets of larger diversity．The experiments show that such criteria efficiently improve the performance of ensemble classifiers． Keywords：Feature selection；Data mining；Genetic Algorithm； Stability ofFeature subsets；Ensemble ofclassifiers Ⅱ 基于遗传葬法的高维数据特征选择和特征子集的组合分析第1章引言 基于遗传葬法的高维数据特征选择和特征子集的组合分析 第1章引言 1．1数据挖掘的产生与发展 在过去的三十年，随着计算机硬件技术、数据收集技术和数据存储技术的快 速发展，各行各业都逐步建立起各自的数据库体系。在这些数据库中存放着大量 的数据，人们所关注的问题是如何有效地利用这些信息使之能够应用到生产实践 当中。收集和存储数据的轻松简便，已经完全改变人们对数据分析的态度：尽可 能地收集各种数据。不管收集目的是否明确，人们相信收集的数据肯定会有价值。 然而对于堆积成山的丰富的数据而言，人们缺乏强而有力的分析手段和分析工 具，因而造成“数据丰富而信息缺乏”的状况。显然数据库的检索和查询难以满 足人们需要，虽然伴随着数据仓库出现的OLAP(联机分析处理)技术具有总结、 概化和聚集的功能，可以从不同角度来观察数据，支持多维分析和决策支持，但 它不能进行更深层次的分析，挖掘出大量数据背后所蕴藏的知识。在这种情况下， 数据挖掘技术便应运而生。 数据挖掘是指从大量的数据中提取人们感兴趣的知识，这些知识是隐含的、 事先未知的、并且潜藏起来的有用信息“3。数据挖掘是目前国际上数据库和信息 决策领域的最前沿研究方向之一，引起了学术界和工业界的广泛关注。一些国际 上高级别的工业研究实验室，例如IBM Almaden和GTE，众多的学术单位，例 如