文档详情

基于数据关联性聚类的数据布局算法-计算机应用技术专业论文.docx

发布:2019-03-27约4.36万字共59页下载文档
文本预览下载声明
致谢 时光飞逝,转眼两年半的研究生生涯即将结束,在硕士论文完成之际,我 谨向在研究生期间给予我指导、帮助和关心的老师,朋友,同学和家人表示由 衷的感谢。 首先,衷心的感谢我的研究生导师闻育,在研究生三年的学习期间,闻老 师无论是在生活上还是在学习上都给了我莫大的帮助和鼓励,特别是在课题的 研究和论文的进展方面,闻老师要求我时刻保持一颗创新的心,以踏实认真的 态度对待科研过程中碰到的每一个问题,并在每一个问题上做到精益求精,这 让我领略到一位学者极高的专业素养和对待学术严谨认真的态度,令我受益良 多。今天,论文能够顺利完成,闻老师无疑是我的最大帮助者,在我课题研究 和论文开展的每一个阶段,他都尽心尽力的帮助我不断修正和完善,他渊博的 专业知识和严谨的治学态度让我印象深刻,同时也激励着我不断前行。师恩似 海,我将谨记于心,在此,谨向恩师致以崇高的敬意和衷心的感谢! 感谢陆慧娟教授、潘巨龙教授、谭劲副教授,感谢在研究生期间所有的老 师,正是他们孜孜不倦的教诲,才让我在学习的道路上走的更加平稳、更加扎 实。 感谢我的研究生同学和朋友,王文鹏,孙斌、潘益明、张金伟、康顺利、 高建桥、王欢、王慧、马仁智、詹靓文、崔凤,感谢你们在我读研期间给予我 的关心和帮助,和你们一同学习和生活的日子真的很美好。 此外,感谢我的父母和家人,感谢你们对我的养育之恩,是你们默默的支 持才让我有如此美好的学习时光,你们无私的爱是激发我不断向前的动力源泉, 我爱你们。 董微 2013 年 3 月 I I 基于数据关联性聚类的数据布局算法 摘要:随着云计算的迅猛发展,海量的数据被集中到云服务器上,为用户提供 存储、检索、计算等远程应用服务。在云服务器上,海量数据的存取操作往往 是性能瓶颈,所以设计并优化数据布局算法,以提升存储器利用率和数据访问 速度,是云计算的一个重要研究课题。考虑到海量数据的爆炸式发展和防灾的 安全需求,使得数据不可能只集中于一个数据中心,所以数据布局算法不仅要 研究在同一个数据中心的本地服务器集群中的分配问题,还要研究跨数据中心 的数据布局,以及跨数据中心数据访问业务的效率问题。前一个可看成是战术 层面的数据布局优化,后一个可看成是战略层面的数据布局优化,本文主要针 对后一个战略层面问题,设计了相应的数据布局算法。论文的主要工作如下: (1)设计了一个基于数据关联性聚类的数据布局算法(DPBDD Data Placement Based On Data Dependence)。云服务器上的众多应用往往会使用多种来源的数 据,也会相互之间共享某一类数据,这种应用与数据之间的多对多关系导致了 数据之间存在复杂的关联性。现有的只考虑数据中心负载均衡的数据布局算法 不考虑数据之间的关联性,当执行某个跨数据中心的应用时,往往会产生大量 的数据迁移,降低数据访问的效率。本文首先定义了不可被分割执行的元应用, 同一个元应用所使用的数据单元被认为是有关联的,从而建立数据关联矩阵, 再通过运用 BEA 算法对数据关联矩阵进行变换得到聚类关联矩阵,使得关联度 高的数据在矩阵中排列得比较靠近,然后通过分割聚类关联矩阵把数据类分配 给各个数据中心。通过仿真实验,与一致 hash 算法和基于数据中心容量聚类的 布局算法进行了比较,结果表明 DPBDD 算法在数据迁移量指标上明显改善。 (2) 考虑到增量数据的布局问题,基于 K-means 算法设计了一个 DPBDD-k 算法。云服务器上的海量数据始终在高速增长,DPBDD 算法适合用于云系统的 初始静态规划和结构性升级规划,云系统运行时的动态规划则必须研究如何将 新增数据合理的布局到各个数据中心。DPBDD-k 算法以 DPBDD 算法得到的 k 个分类作为 K-means 算法的聚类中心,计算新增数据与这 k 个聚类中心的关联 度,选取关联度最大的数据中心来存储这个新数据。仿真实验中通过与就近原 则布局算法进行了对比,DPBDD-k 算法的数据迁移量指标在不断新增数据的情 I II 况下更有优势。 关键词:数据布局;聚类;数据关联性;K-means; 分类号:TP391.9 UDC:004.9 PAGE PAGE III A Data Placement Algorithm Based on Data Dependence Abstract: With the rapid development of cloud computing, mass data is collected in cloud servers, to provide users with the storage, retrieval, calculation of remote application s
显示全部
相似文档