数据仓库架构设计及其缓存管理策略研究.pdf

数据仓库架构设计及其缓存管理簸略研究 摘要： 最近几年，商业智能、数据仓库技术的研究和应用已引起了研究人员、开发 人员和用户的普遍注意。它己经成为近年来在计算机应用领域中发展最为迅速的 几项新技术之一。随着国内信息化建设程度的日益提高，国内对商业智能、数据 仓库解决方案的需求日益迫切。 目前世界上已经出现了许多领先的数据仓库产品供应商，但是这些商业产品 价格高昂，并不适合国内绝大多数中小企事业单位或政府机关的使用，且由于其 源码封闭，不利于研究。与此同时，数据仓库领域的开源项目也得到了迅速的发 展，ETL、OLAP、Data Mining等方面均出现了一些优秀的开源产品。本文便 基于开源产品对数据仓库系统的架构设计进行了研究。 数据仓库有着不同于传统数据库的分析处理和超大容量的特点，因此，如何 建立一个高性能的数据仓库系统正成为当前数据仓库领域研究的热点。数据仓库 系统的性能优化涉及模式设计、并行处理、缓存管理等多个方面，本文主要对其 中的缓存管理策略进行了研究。 本文首先介绍了数据仓库的概念及其相关技术，讨论了数据仓库领域商业产 品及开源产品的开发现状。然后提出了一个基于多层J2EE架构的开源数据仓库 SchemaEditor Eclilose插件Mondrian Plugin开发，考虑到方案无须EJB支 持，J2EE服务器采用Tomcat。 ETL等开源工具进行了源码分析，分 本文对Mondrian、Jpivot、Clover 析了通用缓存管理的相关策略，重点分析了数据仓库系统缓存管理的特点，实现 了一种基于LRU替换算法的缓存管理策略，并提出了基于预先读算法的改良方 案。 基于本架构设计的杭州市劳动力市场数据仓库平台已成功运行，实现了面向 杭州市就业服务局领导及各级工作人员的决策支持和报表查询。 关键词：数据仓库，开放源码，缓存管理 数据仓库架构设计及其缓存管理策略研究 Abstract： lnrecent and inBusifless years，researchapplications Intelligence have more andDataWarehouseattractedandmoreattentionfrom research andusers．1thasbecomeoneofthemost feIlows，programmers new in thefieldof technologies computer rapidly-developed the ofthedomesticinformatization application。Wlthdevelopment for Warehousesolutions ina needsData havebeen construction，the riseinChina． dramatic ofDataWarehouse Now，some solutions，have leadingproviders business is solutions’pricevery emerged．H