基于数据库的文件系统管理工具设计与实现.pdf

第41卷 第 5期 计 算 机 工 程 2015年 5月 Vo1．41 NO．5 ComputerEngineering May2015 · 先进计算与数据处理 · 文章编号：1000-3428(2015)os．0001．05 文献标识码：A 中图分类号：TP311 基于数据库的文件系统管理工具设计与实现 石京燕 ，陈德清 (I．中国科学院高能物理研究所 ，北京 100049；2．中国科学院大学，北京 100049) 摘 要：传统的文件系统管理工具通过实时遍历文件 目录树获取文件元数据信息 ，以实现管理监视功能。但对于 大型文件系统 ，元数据信息的获取需要耗费大量时间，传统管理工具无法适应 当前大数据背景下的管理需求 。为 此，基于数据库技术设计一种新的文件系统管理工具。该工具集成 Robinhood策略引擎与 TORQUE作业管理系 统 ，通过分布式并行计算获取文件系统元数据信息，并将信息保存到 MySQL数据库，同时基于数据库中的元数据 信息，实现文件系统的监视、管理和备份功能。实验结果表明，采用分布式并行计算能够充分利用集群的计算资 源 ，提高文件系统的遍历速率 ，保证文件系统监视 、管理和备份 的顺利进行 。 关键词：元数据 ；大数据；Robinhood策略引擎；TORQUE作业管理系统 ；分布式处理；MySQL数据库 中文引用格式 ：石京燕 ，陈德清．基于数据库的文件系统管理工具设计与实现 [J]．计算机工程 ，2015，41(5)：1．5． 英文 引用格式 ：ShiJingyan，ChenDeqing．DesignandImplementationofFileSystem ManagementToolBasedon Database[J]．ComputerEngineering，2015，41(5)：1—5． Design and ImplementationofFileSystem M anagementToolBased on Database SHIJingyan ，CHEN Deqing ， (1．InstituteofHighEnergyPhysics，ChineseAcademyofSciences，Beijing100049，China； 2．UniversityofChineseAcademyofSciences，BeOing100049，China) 【Abstract】Traditionalfilesystemmanagementtoolsachievemanagementandmonitoringfunctionsbytraversingfile directory treetogetmetadatainformation．Forlargefilesystems，itisatimeconsumedtasktogetmetadatawhichcannot meetthedemandofthecurrentmanagementoflargedatabackground．ThispaperintegratespolicyengineRobinhoodand TORQUEjobmanagementsystem．A distributedparallelcomputingisusedtogetthefilesystem metadatainformation whichissavedintoMySQLdatabase．Basedonmetadatainformationsavedindatabase，thetoolachievesmonitoring，file managementandsystem backup．Thetestsindicatethatdistributedcomputingisabletofullyusethecomputingutilitiesof thecluster，notable to enhance the speed oftraversing file system ，and makessu