机器学习和数据挖掘复习.docx

机器学习与数据挖掘复习第一章：Introduction1. 什么是数据挖掘：数据挖掘时从大量的数据中取出令人感兴趣的知识（令人感兴趣的知识：有效地、新颖的、潜在有用的和最终可以理解的）。2. 数据挖掘的分类（从一般功能上的分类）：描述型数据挖掘（模式）：聚类，summarization，关联规则，序列发现。预测型数据挖掘（值）：分类，回归，时间序列分析，预测。3. KDD（数据库中的知识发现）的概念：KDD是一个选择和提取数据的过程，它能自动地发现新的、精确的、有用的模式以及现实世界现象的模型。数据挖掘是KDD过程的一个主要的组成部分。4. 用数据挖掘解决实际问题的大概步骤：对数据进行KDD过程的处理来获取知识。用知识指导行动。评估得到的结果：好的话就循环使用，不好的话分析、得到问题然后改进。5. KDD过程中的角色问题：6. 整个KDD过程：合并多个数据源的数据。对数据进行选择和预处理。进行数据挖掘过程得到模式或者模型。对模型进行解释和评价得到知识。第二章数据和数据预处理1. 什么是数据：数据是数据对象和它的属性的集合。一个属性是一个对象的性质或特性。属性的集合描述了一个对象。2. 属性的类型：标称（nominal）：它的值仅仅是不同的名字，只是提供足够的信息来区分对象。例如邮政编码、ID、性别。序数：序数属性的值提供足够的信息确定对象的序。例如硬度、成绩、街道号码。区间：对于区间属性，值之间的差是有意义的，即存在测量单位。例如日历日期、温度。比率：对于比率变量，差和比率都是有意义的。例如绝对温度、年龄、质量、长度。3. 用值的个数描述属性：离散的：离散属性具有有限惑无限可数个值，这样的属性可以是分类的。连续的：连续属性是取实数值的属性。4. 非对称属性：对于非对称属性，出现非零属性值才是最重要的。5. 数据集的类型：记录型数据：每一个数据对象都是有固定数目的属性组成的。数据矩阵：如果一个数据集中的所有数据对象都具有相同的数值属性集，则数据对象可以看做是多维空间中的点，其中每个位代表描述对象的一个不同属性。文档数据：每个文档看成是一个向量。事务数据：每一个事务涉及一个项的集合。图数据：可以表示数据对象间的关系或者是数据对象本身就是用图形表示。有序数据：属性在时间或者空间上有关系。时态数据：记录型数据的扩展，但是每个记录都有一个时间。序列数据：由数据构成的序列，没有时间，但表述了一个时间的先后顺序。时间序列数据：每个记录都是一个时间序列。空间数据：属性和空间位置有关。6. 噪声和离群点的区别：噪声是对原始值产生了修改；离群点是具有不同于数据集中其他大部分数据对象的特征的数据对象，或是相对于该属性的典型值不寻常的属性值。7. 如何处理噪声数据：分箱（binning）：分享方法通过考察数据的近邻来光滑有序数据的值。回归：可以用一个函数你和数据来光滑数据。聚类：将数据划分为不同的类，落在类之外的视为离群点。把计算机分析的结果让人检查看是否有问题。8. 数据预处理中的主要任务：数据清洗：填补缺值、去除噪声、解决数据不一致、解决冗余。数据集成：将不同数据源的数据放在一个地方。数据转换：平滑处理、数据聚合、数据泛化、归一化、属性特征构造。数据约减：减少数据量，但仍需从少量的数据中得到原有或接近原有的结果。数据离散化对给定连续值划分为若干小区间，每个区间用一个值表示。9. 相关分析两类方法：对于数值属性可以通过计算两属性之间的相关系数。对于分类数据两属性之间的相关联系可以通过卡方来计算。10. 对数据归一化处理的三大类方法：最小-最大规范化：Z-score规范化：小数定标规范化：11. 属性约减的方法：回归：拟合函数。直方图：将数据划分为一定的区间，存储时只用存储其平均值。（等宽度、等深度、V-optimal：取最优化分、MaxDiff：根据值间距离来划分）。聚类：将数据聚为不同的类，存储类中最有代表性的数据，例如中心点。抽样：从数据中抽取一个样本，要能代表原来的数据。12. 数据离散化的方法：数值型：直方图：自上而下的划分。聚类的分析。基于熵的离散化。卡方分析。自然划分的方法。分类型数据：模式集。属性集。通过只可以得到层次的关系。根据不同属性的取值自动生成。13. 计算二进制属性的相似性用SMC和Jaccard系数（也可以不用于二进制属性，也可用于连续和计数属性），Cosine相似性用来测文档和文档之间的距离。第三章概念学习1. 概念的概念：概念是定义在一个大集合上的事物或对象的子集。概念是定义在一个大集合上的二值函数。2. 概念学习的概念：概念学习就是从数据里提取出此概念的定义。概念学习可看成从给定的数据（输入、输出）中拟合出一个二值函数。3. 概念学习的三种算法：Find-S：找到一个最具体的假设把H中的每个h初始化成最具体的假设。它