针对海量遥感数据的集群并行处理技术分析研究及应用.pdf

摘要 最近几年来，遥感领域技术发展迅速。在对地观测领域的高分辨率遥感卫星不断升 空，越来越多的多光谱、高光谱、微波、热红外等传感器技术更新换代，通过遥感技术 获取的遥感影像数据量急剧膨胀。与此同时，遥感应用行业对于影像数据的处理速度和 处理精度都有了更高的要求，“处理难”成为日益突出的问题。为了提高在遥感数据处 理阶段的速度和产品精度，解决环境监测、灾害预警、应急响应等在实时或者近实时的 遥感应用需求，本文采用基于集群的并行计算技术，结合遥感数据处理过程中的特点， 设计并实现了一种基于海量遥感数据的业务化集群处理系统。 本文的主要工作和贡献如下： 1．研究基于遥感数据特点的并行计算架构。通过分析遥感数据在处理过程中的特 点，发掘遥感数据处理过程中的并发性，结合计算机集群技术，研究设计高性能遥感数 据集群计算架构。在该架构中提出基于任务、数据、算法的多级并行计算结构，实现基 于遥感数据特点的计算架构设计。 2．基于遥感算法研究提出遥感原子算法的概念，通过对遥感算法的深入分析，探讨 遥感算法在处理过程中并行的可能性，提出将原有遥感产品算法分解，进行遥感算法函 数级的封装，定义为遥感原子算法，制定了原子算法封装的规范，定义了标准的原子算 法接口，在原子算法的基础上实现了流程化产品生产定制。 3．设计了遥感数据并行处理系统的系统架构，在分析研究了遥感数据处理过程以 后，设计实现了各模块的功能，完成了生产业务流程的设计，原子算法的引入，大大提 高了计算能力。本平台的设计完成，解决了遥感产品快速生产的问题，能够改善海量遥 感数据在高性能计算过程中的计算能力不足，并大幅度提高了数据处理效率。 关键词：集群，并行计算，原子算法，海量遥感数据 Abstract fieldofEarth Inthe inremote fieldis the technology sensing developingrapidly．In pastyears．the the remote satellite andmoresensor observation，withhigh·resolutionsensing continuallylaunching thermalinfrared oneafter suchas upgradinganotheL technologiesMuitispectral，hyper-spectral，microwave remote is theamountofremote dataobtained sensingtechnologyincreasingrapidly．At sensingimage by thesame hasa demandfor data time，remote industryhigher imageprocessingspeed sensingapplications a orderto the and become accuracy”Processingdifficulty”hasgrowingproblem．Inimprove processing and intheremote data solvetheremo