数据挖掘导论--第1章-数据仓库基本理论.ppt

第1章 数据仓库基本理论 数据仓库基本理论 从数据库到数据仓库 1.1 1.2 1.3 1.4 数据仓库的定义与特点 从OLTP到OLAP 数据字典与元数据 1.1 从数据库到数据仓库 K、M、G、T、P、E、Z、Y 结构化 半结构化 非结构化 利用数据进行数据处理转换为利用数据支持决策 “数据太多，信息不足”的现状 异构环境的数据的转换和共享 数据处理转换为支持决策 （1）数据库用于事务处理 数据库作为数据资源用于管理业务中的事务处理。它已经成为了成熟的信息基础设施。 数据库中存放的数据基本上是保存当前数据，随着业务的变化随时在更新数据库中的数据。 不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。 （2）数据仓库用于决策分析 数据库用于事务处理，数据仓库用于决策分析； 数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据； 数据仓库的数据是大量数据库的集成； 对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大； 数据库：事务处理 数据仓库：决策分析需求 数据库：二维 数据仓库：多维超立方 数据仓库的数据量是数据库数据量的100倍 由于数据仓库不同于数据库，数据挖掘也随之发生变化。 数据仓库中数据存储特点 细节的 在存取时准确的 一次操作数据量小 面向应用 支持管理 数据库 综合或提炼的 代表过去的数据 一次操作数据量大 面向分析 支持决策 数据仓库 （3）数据库与数据仓库对比 可更新的 不更新 W.H.Inmon《建立数据仓库》：数据仓库是面向主题的、集成的、稳定的，不同时间的数据集合，用于支持经营管理中决策制定过程。 （1）数据仓库定义 SAS软件研究所观点：数据仓库是一种管理技术，旨在通过通畅、合理、全面的信息管理，达到有效的决策支持。 1.2数据仓库的定义与特点 6.软硬件要求高 4.随时间变化的 5.数据量大 3.数据是稳定的 1.面向主题的 2.数据是集成的 数据仓库 的特点 （2）数据仓库的特点 1.3 从OLTP到OLAP 联机事务处理（OLTP） 1 联机分析处理（OLAP） 2 OLAP与OLTP对比 3 （1）联机事务处理（OLTP） 联机事务处理（On Line Transaction Processing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 OLTP是用户的数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。也称为实时系统(Real time System)。 （1）联机事务处理（OLTP） OLTP主要用于包括银行业、航空、邮购订单、超级市场和制造业等的输入数据和取回交易数据。如银行为分布在各地的自动取款机 (ATM)完成即时取款交易；机票预定系统能每秒处理的定票事务峰值可以达到20000个。 OLTP是事务处理从单机到网络环境地发展新阶段。 （1）联机事务处理（OLTP） OLTP的特点在于事务处理量大，应用要求多个并行处理，事务处理内容比较简单且重复率高。 大量的数据操作主要涉及的是一些增加、删除、修改、查询等操作。每次操作的数据量不大且多为当前的数据。 （1）联机事务处理（OLTP） OLTP处理的数据是高度结构化的，数据访问路径是已知的，至少是固定的。 OLTP面对的是事务处理操作人员和低层管理人员。 但是，为高层领导者提供决策分析时， OLTP则显得力不从心。 （2）联机分析处理（OLAP） E.F.Codd认为决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。 E.F.Codd在1993年提出了多维数据库和多维分析的概念，即联机分析处理（On Line Analytical Processing，OLAP）概念。 关系数据库是二维数据（平面），多维数据库是空间立体数据。 （2）联机分析处理（OLAP） OLAP专门用于支持复杂的决策分析操作，侧重对分析人员和高层管理人员的决策支持。 OLAP可以应分析人员的要求快速、灵活地进行大数据量的复杂处理，并且以一种直观易懂地形式将查询结果提供给决策制定人 （2）联机分析处理（OLAP） OLAP软件，以它先进地分析功能和以多维形式提供数据的能力，正作为一种支持企业关键商业决策的解决方案而迅速崛起。 OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。 当前数据 经常更新 一次性处理的数据量小 对响应时间要求高 面向应用，事务驱动 OLTP 历史数据 不更新，但周期性刷新 一次性处理的数据量大 响应时间合理 面向分析，分析驱动 OLAP （2） OLTP与OLAP的对比 细