大数据挖掘导论与案例课件：数据预处理.pptx

数据预处理;学习目标/Target;引言/Introduction;目录/Contents;数据预处理任务;;;数据清洗;数据预处理过程的第一步常常是进行数据质量分析，对数据集中所存在的问题进行检测和纠正，并进行数据清理（datacleaning），以保证数据集的准确性、完整性和一致性。

数据清洗过程通常包括数据集的缺失值处理和噪声数据处理。;4.2.1缺失值处理;4.2.1缺失值处理;4.2.1缺失值处理;4.2.2噪声数据处理;4.2.2噪声数据处理;4.2.2噪声数据处理;4.2.2噪声数据处理;4.2.2噪声数据处理;数据归约;为了提高数据挖掘效率，降低成本，提高质量，需通过技术手段降低数据规模，以减少模型运算时间，降低运行成本，这一过程就是数据归约。

数据归约技术可以得到数据集的归约表示，它仍然接近地保持原数据的完整性，但数据规模小得多。在归约后的数据集上挖掘将更有效，并产生相同或几乎相同的分析结果。

数据归约技术主要通过属性选择和数据采样两个途径对原始数据集进行压缩。

本节介绍聚集、抽样、维归约、特征子集选择和特征创建等数据归约方法。;4.3.1聚集;4.3.2抽样;4.3.3维规约;4.3.4特征子集选择;4.3.4特征子集选择;4.3.4特征子集选择;4.3.5特征创建;4.3.5特征创建;4.3.5特征创建;4.3.5特征创建;4.3.5特征创建;4.3.5特征创建;4.3.5特征创建;4.3.5特征创建;4.3.5特征创建;离散化与二元化;

有些数据挖掘算法要求输入数据集必须为分类属性，因此常常需要把连续型属性转换成分类型属性，这一过程即为离散化（discretization）。

离散化技术通过将连续型属性的取值范围划分为若干区间，将落在每个区间里的值用一个分类值来代替，达到减少连续型属性的取值个数的目的。

有时需要将连续属性和离散属性变换成一个或多个二元属性，即进行二元化（binarization）处理。

二元化技术通过二进制编码的形式将分类属性转变为二元属性。;4.4.1离散化;4.4.1离散化;4.4.1离散化;4.4.2二元化;数据规范化和数据泛化;数据规范化和数据泛化是数据变换的基本策略之一，数据变换是将原始数据变换成更适合数据挖掘的数据格式的过程。

经过数据变换的数据对模型和算法的适???性可能更强，这使挖掘过程可能更有效，输出的结果可能更加准确。

广义上的数据变换包括数据平滑、特征创建、聚集、离散化、数据规范化和数据泛化等策略。数据平滑、特征创建、聚集和离散化已经讨论，本节介绍数据规范化（datanormalization）和数据泛化（datageneralization）。;?;?;?;?;在分类型属性的类别值较多时，如果分类属性是无序的（即标称属性），需要一个非常庞大的0-1矩阵，这反而给数据挖掘算法增加了存储负担和运算成本，此时就需要考虑其他方法。

对于无序的分类属性，可以通过产生概念分层（concepthierarchy）的方法来解决分类属性的值过多的问题。概念分层可以把数据变换到不同的粒度层，属于低粒度概念层次的属性值较多的情况下，通过用较高层次的概念替换较低层次的属性值来进行汇总表示，这种方法被称为数据泛化（generalization）。经过泛化后的数据尽管细节信息丢失了，但其可能更具有决策意义、更容易理解。

通常，数据的概念层次是由用户或领域专家针对具体问题设定的，如果领域知识不能提供有用的指导，或者设定的分层性能较差，则需要使用更为经验性的方法，如仅当概念分层的结果能提高模型的准确率或能达成其他数据挖掘目标时，才进行数据泛化。;本章小结