数据仓库与数据挖掘概述.ppt

联机事物处理（OLTP）联机分析处理（OLAP）OLTP与OLAP的对比从OLTP到OLAP联机事物处理（OnLineTransactionProcessing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。OLTP是用户的数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。也称为实时系统(RealtimeSystem)。1.联机事物处理（OLTP）OLTP主要用于包括银行业、航空、邮购订单、超级市场和制造业等的输入数据和取回交易数据。如银行为分布在各地的自动取款机(ATM)完成即时取款交易；机票预定系统能每秒处理的定票事务峰值可以达到20000个。OLTP是事务处理从单机到网络环境地发展新阶段。12OLTP的特点在于事务处理量大，应用要求多个并行处理，事务处理内容比较简单且重复率高。大量的数据操作主要涉及的是一些增加、删除、修改、查询等操作。每次操作的数据量不大且多为当前的数据。OLTP处理的数据是高度结构化的，数据访问路径是已知的，至少是固定的。OLTP面对的是事务处理操作人员和低层管理人员。但是，为高层领导者提供决策分析时，OLTP则显得力不从心。010203认为决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。01在1993年提出了多维数据库和多维分析的概念，即联机分析处理（OnLineAnalyticalProcessing，OLAP）概念。02关系数据库是二维数据（平面），多维数据库是空间立体数据。032.联机分析处理（OLAP）OLAP（On-LineAnalyticalProcessing）商务智能的直接数据来源？OLTP?数据仓库？多维数据集?什么是多维数据集？“多维数据集是一种结构，包含了一个或多个度量。这些度量用于所有维度的成员的每个唯一组合。”OLAP专门用于支持复杂的决策分析操作，侧重对分析人员和高层管理人员的决策支持，OLAP可以应分析人员的要求快速、灵活地进行大数据量的复杂处理，并且以一种直观易懂地形式将查询结果提供给决策制定人OLAP软件，以它先进地分析功能和以多维形式提供数据的能力，正作为一种支持企业关键商业决策的解决方案而迅速崛起。01OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。023.OLTP与OLAP的对比OLTPOLAP细节性数据综合性数据当前数据历史数据经常更新不更新，但周期性刷新一次性处理的数据量小一次处理的数据量大对响应时间要求高响应时间合理面向应用，事务驱动面向分析，分析驱动01从机器学习到数据挖掘02数据挖掘含义03数据挖掘与OLAP的比较04数据挖掘与统计学1.2数据挖掘的兴起1学习是人类具有的智能行为，主要在于获取知识。2机器学习是研究使计算机模拟或实现人类的学习行为，即让计算机通过算法自动获取知识。3机器学习是人工智能领域中的重要研究方向。420世纪60年代开始了机器学习的研究。1.2.1从机器学习到数据挖掘1980年在美国召开了第一届国际机器学习研讨会；明确了机器学习是人工智能的重要研究方向1989年8月于美国底特律市召开的第一届知识发现（KDD）国际学术会议；首次提出知识发现概念1995年在加拿大召开了第一届知识发现和数据挖掘（DM）国际学术会议；首次提出数据挖掘概念我国于1987年召开了第一届全国机器学习研讨会。知识发现（KDD）：从数据中发现有用知识的整个过程。数据挖掘（DM）：KDD过程中的一个特定步骤，它用专门算法从数据中抽取知识。如在人类数据库中挖掘知识为：（头发=黑色）∨（眼睛=黑色）→亚洲人该知识覆盖了所有亚州人的记录。数据挖掘含义数据挖掘做什么？预测未来发生的事情(分类与回归)将人或事物按照属性聚类关联可能一起发生的事件（购物篮）确定事件发生的序列（股票涨落）异常检测数据挖掘啤酒与尿布的故事：在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售，但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。原来，美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布。而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还是很多的。1OLAP的多维分析OLAP的典型应用，通过商业活动变化的查询发现的问题，经过追踪查询找出问题出现的原因，达到辅助决策的作用。2数据挖掘数据挖掘任务在于聚类（如神经网络聚类）、分类（如决策树分类）、预测等。数据挖掘