浙大数据挖掘2数据预处理.pptx

数据预处理第二章 数据预处理为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成为什么进行数据预处理？现实世界的数据是“肮脏的”——数据多了，什么问题都会出现不完整缺少数据值；缺乏某些重要属性；仅包含汇总数据；e.g., occupation=有噪声包含错误或者孤立点e.g. Salary = -10数据不一致e.g., 在编码或者命名上存在差异e.g., 过去的等级： “1,2,3”, 现在的等级： “A, B, C”e.g., 重复记录间的不一致性e.g., Age=“42” Birthday=“03/07/1997”数据为什么会变“脏”？不完整数据的成因数据收集的时候就缺乏合适的值数据收集时和数据分析时的不同考虑因素人为/硬件/软件 问题噪声数据（不正确的值）的成因数据收集工具的问题数据输入时的 人为/计算机 错误数据传输中产生的错误数据不一致性的成因不同的数据源违反了函数依赖性数据预处理为什么是重要的？没有高质量的数据，就没有高质量的挖掘结果高质量的决策必须依赖高质量的数据e.g. 重复值或者空缺值将会产生不正确的或者令人误导的统计数据仓库需要对高质量的数据进行一致地集成数据预处理将是构建数据仓库或者进行数据挖掘的工作中占工作量最大的一个步骤数据质量的多维度量一个广为认可的多维度量观点：精确度完整度一致性合乎时机可信度附加价值可解释性跟数据本身的含义相关的内在的、上下文的、表象的以及可访问性数据预处理的主要任务数据清理填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性数据集成集成多个数据库、数据立方体或文件数据变换规范化和聚集数据归约得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果数据离散化数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要第二章 数据预处理为什么对数据进行预处理描述性数据汇总数据清理数据集成和变换数据归约离散化和概念分层生成描述性数据汇总动机：为了更好的理解数据获得数据的总体印像识别数据的典型特征凸显噪声或离群点度量数据的中心趋势均值、中位数、众数（模）、中列数度量数据的离散程度四分位数、四分位数极差、方差等度量的分类度量可以分为三类：分布式度量(distributive measure)：将函数用于n个聚集值得到的结果和将函数用于所有数据得到的结果一样比如：count()，sum()，min()，max()等代数度量(algebraic)：可以 通过在一个或多个分布式度量上应用一个代数函数而得到比如：平均值函数avg() （ avg() =sum()/count()）整体度量(holistic)：必须对整个数据集计算的度量比如：median()，mode()，rank()度量中心趋势 (1)算术平均值加权算术平均截断均值（trimmed mean）：去掉高、低极端值得到的均值e.g. 计算平均工资时，可以截掉上下各2％的值后计算均值，以抵消少数极端值的影响中位数：有序集的中间值或者中间两个值平均整体度量；但是可以通过插值法计算近似值度量中心趋势 (2)众数（Mode，也叫模）：集合中出现频率最高的值单峰的（unimodal，也叫单模态）、双峰的（bimodal）、三峰的（trimodal）；多峰的（multimodal）对于适度倾斜（非对称的）的单峰频率曲线，可以使用以下经验公式计算众数对称 VS. 倾斜的数据对称与正倾斜、负倾斜数据的中位数、均值和众数度量数据的离散度 （1）最常用度量：极差、五数概括（基于四分位数）、中间四分位数极差和标准差极差（range）：数据集的最大值和最小值之差百分位数(percentile)：第k个百分位数是具有如下性质的值x：k%的数据项位于或低于x中位数就是第50个百分位数四分位数：Q1 (25th percentile), Q3 (75th percentile)中间四分位数极差(IQR)： IQR = Q3 – Q1 孤立点：通常我们认为：挑出落在至少高于第三个四分位数或低于第一个四分位数 1.5×IQR处的值度量数据的离散度 （2）五数概括: min, Q1, Median, Q3, max盒图：数据分布的一种直观表示方差和标准差方差s2：n个观测之x1,x2...xn的方差是标准差s是方差s2的平方根标准差s是关于平均值的离散的度量，因此仅当选平均值做中心度量时使用所有观测值相同则 s＝0，否则 s0方差和标准差都是代数度量盒图——示例盒图：数据分布的一种直观表示，在盒图中：端点在四分位数上，使得盒图的长度是IQR中位数M用盒内的线标记胡须延伸到最大最小观测值该盒图为在给定时间段在AllElectronics的4个分店销售的商品单价的盒图分店1中位数$80Q1: $60Q3: $1