大数据挖掘与分析.pdf

大数据挖掘与分析 数据挖掘 (Data Mining)是通过分析每个数据，从大量数据中寻找其规律的技术， 主要有数据准备、规律寻找和规律表示 3 个步骤。数据挖掘的任务有关联分析、 聚类分析、分类分析、异常分析、特异群组分析和演变分析等。 数据挖掘是通过分析每个数据， 从大量数据中寻找其规律的技术， 主要有数据准 备、规律寻找和规律表示 3 个步骤。 数据准备是从相关的数据源中选取所需的数 据并整合成用于数据挖掘的数据集； 规律寻找是用某种方法将数据集所含的规律 找出来； 规律表示是尽可能以用户可理解的方式 （如可视化）将找出的规律表示 出来。 数据挖掘完整的步骤如下： ① 理解数据和数据的来源（ understanding）。 ② 获取相关知识与技术（ acquisition ）。 ③ 整合与检查数据（ integration and checking）。 ④ 去除错误或不一致的数据（ data cleaning）。 ⑤ 建立模型和假设（ model and hypothesis development）。 ⑥ 实际数据挖掘工作（ data mining）。 ⑦ 测试和验证挖掘结果（ testing and verification ）。 ⑧ 解释和应用（ interpretation and use ）。 数据挖掘常用的方法 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其 划分为不同的类， 其目的是通过分类模型， 将数据库中的数据项映射到摸个给定 的类别中。 可以应用到涉及到应用分类、 趋势预测中， 如淘宝商铺将用户在一段 时间内的购买情况划分成不同的类， 根据情况向用户推荐关联类的商品， 从而增 加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表 达数据映射的关系来发现属性值之间的依赖关系。 它可以应用到对数据序列的预 测及相关关系的研究中去。 在市场营销中， 回归分析可以被应用到各个方面。 如 通过对本季度销售的回归分析， 对下一季度的销售趋势作出预测并做出针对性的 营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和 差异性将一组数据分为几个类别。 属于同一类别的数据间的相似性很大， 但不同 类别之间数据的相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根 据一个数据项的出现推导出其他数据项的出现。 关联规则的挖掘过程主要包括两 个阶段：第一阶段为从海量原始数据中找出所有的高频项目组 ;第二极端为从这 些高频项目组产生关联规则。 关联规则挖掘技术已经被广泛应用于金融行业企业 中用以预测客户的需求，各银行在自己的 ATM 机上通过捆绑客户可能感兴趣的 信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行 处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、 不完 整、不严密的知识或数据为特征的处理问题， 它的这一特点十分适合解决数据挖 掘的问题。 典型的神经网络模型主要分为三大类： 第一类是以用于分类预测和模 式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机