简述统计行业数据仓库的构建及应用.doc

简述统计行业数据仓库的构建及应用 　　摘要：本文首先介绍了数据仓库，然后重点分析统计行业数据仓库的构建，最后提出了统计行业应用及前景。 　　关键词：统计行业，数据仓库，构建，应用，前景。 　　中图分类号： C8 文献标识码： A 文章编号： 　　一、数据仓库概述 　　数据仓库是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合。现在统计行业存放的大量数据主要是用来分析, 挖掘其中潜在的有价值的信息, 以便及时、准确地作出决策,使企业获得最大效益, 所以说统计行业最大的需求就是构建一个决策支持系统, 而数据仓库是决策支持系统(DSS) 的基础。数据仓库中存放的是单一集成的数据源, 而且对数据仓库中的粒度化的数据的访问十分容易, 因此, 与传统数据库相比数据仓库更利于提供决策支持。 　　二、统计行业数据仓库构建 　　2.1 改进的三层数据仓库体系结构 　　利用数据仓库构建统计行业决策支持系统, 有两种实现方法: 一种是推倒重来, 完全抛弃旧系统来构建新系统, 这种方法改造比较彻底, 但是成本比较高、技术要求高、周期比较长; 另一种就是在旧系统基础上作一些改进, 实现新系统所需要的功能和性能, 这种新系统虽然只是理想决策支持系统的部分裁剪, 但是成本较低、技术要求不高、也很容易实现。考虑国内统计行业原先大部分使用MIS 系统辅助决策分析,DSS 刚刚起步、功能要求不是太高, 资金缺乏等现状,我们采用第二种方法构建统计行业数据仓库。 　　要实现决策支持功能, 数据仓库中必须有大量历史性数据、统计数据、导出数据及细节数据作为决策依据。而原先MIS 数据库只存放动态的面向业务处理的细节数据, 因此, 必须对原系统数据结构进行改进,改进后的体系结构分为三层: 　　(1)数据源层。即原系统数据库, 存放统计行业大量事务级数据。改进后数据仓库管理系统事务处理对象依然是该数据库, 每隔一段时间对数据库中数据集成、转换, 然后以时间为标识存入数据仓库。因此说, 该层是数据仓库的数据基础。 　　(2)数据集成、分析、归档层。来自数据源层的统计数据是事务级数据, 过于详细, 也存在不正确、不完整的非集成数据, 因此, 需要进行组合或集成, 使之转换成企业级数据并存入数据仓库, 以供随时调用, 同时还应把综合信息与其基础数据源链接起来, 以便可以追溯到细节性数据。将统计数据存入数据仓库时, 一般采用多重粒度存储方法, 根据统计数据综合程度不同进行划分。数据仓库中也有经过不同程度汇总的综合数据, 当数据量不断增加时, 可以建立更高粒度综合数据。对历史数据而言, 由于对当前决策作用不大, 而且系统数据大量、迅速增加。所以可将这部分数据存入备用存储器, 以便数据仓库能够有效、高性价比地维护大量数据。 　　(3)应用层。应用层通过对数据仓库中各种数据进行分析、统计、建模、归类等工作, 可以为管理人员提供决策支持, 帮助管理人员做出好的决策。 　　2.2 系统分析与设计 　　2.2.1 主题确定 　　数据仓库的数据面向主题。数据以数据模型中所定义的各个主题域为基础, 与应用相独立。主题域又可分为表示企业中一系列基本实体的主题, 以及表示实体间联系的主题。 　　正是由于数据仓库中的数据面向主题, 从而决定其设计由数据驱动。针对统计行业特点, 确定如下主题: 人员, 库存, 设施设备, 财务, 综合。 　　上述主题比较全面地覆盖了统计行业人、财、物及综合等方面。前四个主题都对应一个事实表及多个维表, 而综合对应多个事实表并且共享维表, 是多维数据分析的高级形式。 　　根据上述需要, 把多维分析功能分成八大部分:人员情况统计分析; 财务状况统计分析; 库存统计分析; 综合库存统计分析; 设施统计分析; 设备统计分析; 资材统计分析; 单位综合情况分析。 　　2.2.2 概念分层 　　维是一个组织所需记录的透视或实体, 设计过程中维表便于用户分析数据。例如, 统计系统要创建一个主题“库存”, 记录库存情况, 涉及的维有时间、品种、性质、品种等, 这些维可以使分析人员能够从不同角度分析库存情况。 　　一个概念分层在维表上定义一个映射序列, 将低层概念映射到更一般的高层概念。 　　2.2.3 层次关系实现 　　维用维表体现, 其结构与普通的数据库表没有区别, 但是要实现概念层次关系, 需要作一下转换。转换后既节省存储空间, 又可以形象直观的表示维的层次关系。 　　2.2.4 多维数据架构设计 　　数据仓库设计中极为重要的就是数据构架设计,目前最流行的数据仓库构架主要有以下三种: 星型模式、雪花模式、星座模式。 　　在数据仓库中执行查询时, 需要花大量时间在相关表中寻找数据。而星型模式使数据仓库复杂