Hadoop下海量遥感数据的处理.pdf

软件 2014 年第 35 卷 第 4 期 Hadoop下海量遥感数据的处理 田野 （中国矿业大学（北京）机电与信息工程学院，北京 100083；） 摘要：随着我国空间技术科学的发展，遥感数据正以指数级增长，由于遥感数据的地理信息特征，海量遥感数据的存储和处理 成了近年的研究热点，本文采用在商业上取得出色成绩的 hadoop 云计算平台来对海量遥感数据进行并行化处理，完成了系统并行 性能测试与分析，结果表明利用 hadoop 对海量遥感数据的并行化处理的可行性，并且还能满足海量遥感数据并行处理效率要求和 高可用性。 关键词：计算机应用；遥感；云计算；Hadoop 中图分类号：TP72/75　　　　　　文献标识码：A　　　　　　DOI：10.3969/j.issn.1003-6970.2014.04.012 本文著录格式：[1] 田野 .Hadoop 下海量遥感数据的处理 [J]. 软件，2014,35(4)：53-55 Processing of remote sensing data by Hadoop Tian Ye (China University of Mining Technology (Beijing) College of electrical and Information Engineering, Beijing 100083, China) Abstract With the development of science and technology of China, remote sensing data is growing exponentially, due to geo- 【 】 graphical information characteristics of remote sensing data, storage and processing of remote sensing data has become a research hotspot in recent years, using the Hadoop cloud computing platform of remote sensing data for parallel processing, the completion of the system test and performance analysis of parallel, the results show that the use of the feasibility of Hadoop parallel processing of remote sensing data, and can meet the requirement of parallel processing efficiency and high availability of massive remote sensing data. Keywords Computer application; remote sensing; cloud computing; Hadoop 【 】 0　引言 HDFS 体系采用 master/slave 架构，一个 HDFS 集群 由一个 NameNode 和许多 DataNode 组成 DataNode 按块 block 存储 。 （ ） 随着我国航空航天事业的发展 遥感数据正以指数级增长 ， ， 数据文件，块文件大小可配置，默认的块大小为 64M