数据挖掘与分析1.ppt

数据仓库和数据挖掘在商业活动中的应用 刘建民 博士 首席顾问 数据挖掘与数据分析业务 汉得信息技术有限公司 jianmin.liu@ 简介 ●数据仓库是公司成功的关键因素 ●随着数据的数量以指数速度增长，将原始数据转化为可供决策的信息就变得十分关键 ●这个演讲将展示一个数据仓库的结构及它在成功开展商业活动中所扮演重要角色 * Hand 2001 1 2 3 45+ Systems Feed Data 3800万 帐户/服务 世界资本 市场 活期存款 市场活期存款 个人贷款 小型企业贷款 定期存款 银行分支业务 房屋贷款 商务贷款 外部数据 银行批发业务及 客户信息 信用卡 每月 公司数据仓库 一览 投资帐户 通过电脑的业务 自动存/取款机业务 每天 每周 通过电话进行 的银行业务 4 数字（信息）量的成长趋势 0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 1986 1988 1990 1992 1994 1996 1998 2000 USERS GIGABYTES 5 数据和数据挖掘 ●消费者贷款信用数据 ●客户其它数据（社会、生活、经济） ●第三方专有数据 (UPDW, HVC, MM) ●统计模型,分析及报告数据 数据仓库 ●开放性客户服务器技术 ● 庞大的数据仓库/数据来源 系统 数据库营销 ●数据库营销的专业，技术知识和专长 ●对有待开发市场的数据营销。 商业目标 6 目标: ●创立一个世界一流的数据库营销系统和来帮助开发新市场 具体需求 ●促销活动的管理 (设计, 开发, 实施) ●促销活动的追踪和分析 ● 对不同问题的数据分析和数据挖掘 ●在线用户进网的可靠和方便 商业解决方案方案一览:我们了解您的需求 7 商业解决方案方案一览:假设 数据库系统展望假设: ●最初系统将包含50个州5千万条记录 ●系统必须能够扩展到8千万条个人记录 ●每季度的报告要重建 ●每月和每周数据库更新 ●年度邮件数量达到1500百万 ●在旧金山的用户可直接进入 ● 6个远端用户 ● 5个月的开发和测试阶段 ● 36 个月的合同期限 8 3. 5. 7. 6. SAS 服务器 Extracting transforming Loading(ETL)/ 数据仓库 服务器 Data Mart 服务器 富国银行最终用户 4. 8. 促销活动 管理服务器 ETL 流程 促销对象--数据仓库 选择 数据 Mart 客户数据 UPDW Dataquick Experian Credit 商业活动 数据 其他 数据 来源 1. 商业解决方案 方案一览: 概念化系统设计 2. 9 房屋拥有者数据 ● Dataquick (5200万 homeowners) ● UPDW (7000万 homeowners) 贷款信用数据 ● Experian 信用数据季度性更新 ●系统设计可容纳3家贷款信用公司的数据 客户数据 ●由富国银行每两个月或更短时间内进行更新 促销活动数据 ●至少24个月的促销商业活动的数据得以储存 ●促销活动反应效果的历史记载（每周进行） 其它数据来源 ● 禁止促销的个人数据 商业解决方案方案一览:1.输入数据来源 10 商业解决方案 方案一览:2.ETL流程 不同流程 旧 新 数据清理 数据库更新 数据合并 促销对象-数据仓库 选择数据 Mart 数据仓库 M/P 键的管理 匹配 不匹配 数据更新 客户数据 UPDW Dataquick Experian Credit 促销活动 数据 其他数据 来源 数据库 M/P 11 数据仓库功能 ●保证所有联邦法律得以实施 所有经识别的数据都存储在数据仓库 ●管理文件输出流程 信件,审计文件,分析文件等 ●重点变量的维护和管理 ●文件输出流程 ●数据存储 硬件/软件 ● Compaq 8400 (12 processors, 8GB RAM) ●数据管理工具 (address standardization, M/P, etc.) 商业解决方案 方案一览: 3. 促销对象的数据库（新市场） 12 选择数据库的功能 ●促销活动的设计,开展和实施 ●数据挖掘和分析 ●促销活动的回应历史数据 ●信用、房屋拥有人及其它有关促销对象的社会、经济数据 硬件/软件 ● Compaq GS60E (8 processors, 6GB RAM) ● Oracle 8i RDBMS 商业解决方案 方案一览: 4. 选择数据 来源 13 远程连接功能 ● Fractional闭路联网连接（T1) ● 6个用户进入 商业解决方案方案一览: 5. 远程连接 14 促销数据库是 可实施ODBC 的