数据挖掘报告.ppt

数据挖掘概述 陈珊珊 Chenfeier@ 目录 一．数据挖掘概念 背景 概念 典型数据挖掘系统结构 　　　数据挖掘的对象 二．数据仓库和数据挖掘的OLAP技术 关系数据 数据仓库 事务数据库 高级数据库系统和高 级 数据库应用 一．数据挖掘的概念 ?1995年，在加拿大蒙特利尔召开了第一届知识发现和数据挖掘国际学术会议，数据挖掘一词被很快流传开来。 数据挖掘(DM:Dat Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 典型数据挖掘系统结构 数据挖掘的对象 关系数据库 数据仓库 事务数据库 高级数据库系统和高级数据库应用 二．数据仓库和数据挖掘的OLAP技术 数据仓库的概念 多维数据模型 多维数据模型上的OLAP操作 数据仓库的概念 W.H.Inman: 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程。 面向主题的：数据仓库围绕一些主题，如顾客、供应商、产品和销售组织。 集成的：数据仓库将多个异种数据源，如关系数据库、一般文件和联机事务处理记录集成在一起。 时变的：数据存储从历史的角度提供信息。 非易失的：数据仓库总是物理地分离存放数据； 多维数据模型 最流行的数据仓库数据模型是多维数据模型。这种模型可以以星型模式、雪花模式、或事实星座模式形式存在。 星型模式：数据仓库包括一个事实表，一组维表。事实表包含大批数据且不含冗余。 雪花模式：雪花模式是星型模式的变种。雪花模式的维表可能是规范化形式，以便减少冗余。但是执行查询时需要更多连接操作，可能会降低浏览的性能。 事实星座模式：对于需要多个事实表共享维表的复杂应用采用事实星座模式。 多维数据模型上的OLAP操作 概念分层：概念分层定义一个映射序列，将低层概念映射到更一般的高层概念。 模式分层：是数据库模式属性间的全序或偏序。可以形式地表示属性间的语义联系。如关系模式address,包含属性street,city,province-or-state和country,可用如下全序定义location模式分层结构： streetcityprovince_or_statecountry 多维数据模型上的OLAP操作 集合分组分层：将给定属性或维的值组织成常量组或区间组，定义全序或偏序。 {young,middle_aged,senior}?all(age) {20…39} ? young {40…59} ? middle_aged {60…89} ? senior 操作导出的分层：根据用户、专家或数据挖掘系统说明的操作分层。操作可能包括信息编码串的解码，由复杂数据对象提取信息和数据聚类。 例:一个e-mail地址www的URL可能包含涉及部门、学校（或公司）和国家的层次信息。可以使用解码操作来提取信息，形成概念分层。 dmbook@cs.sfu.ca给出偏序 login-namedepartmentuniversitycountry,形成了e-mail地址的一个概念分层。 多维数据模型上的OLAP操作 基于规则的分层：由一组规则定义一个概念分层。 如下面的规则可将商品分类为low_profit_margin,medium_profit_margin和high_profit_margin。其中，商品x的价格差定义为x的销售价格和实际价格的差。 low_profit_margin(x)?price(x,p1) ?cost(x,p2) ?((p1－p2)50) medium_profit_margin(x)?price(x,p1) ?cost(x,p2) ?((p1－p2) ? 50) ?((p1－p2) ? 250) high_profit_margin(x)?price(x,p1) ?cost(x,p2) ?((p1－p2)250) 多维数据模型上的OLAP操作 上卷(roll-up)：通过一个维的概念分层向上攀升或者通过维归约，在数据立方体上进行聚集。 下钻(drill-down)：通过沿维的概念分层向下或引入新的未来实现。 切片或切块：切片(slice)操作在给定的数据立方体的一个维上进行选择，导致一个子方。切块(dice)操作通过对两个或多个维执行选择，定义子方。 转轴(pivot):转动数据的视角，提供数据的替代表示。 三．数据挖掘的功能