一种大文件多版本遥感影像数据组织的管理方法.doc

一种大文件多版本遥感影像数据组织管理方法 1 引言 　　近年来，遥感技术[1]的飞速发展为我们提供了丰富的高质量、高清晰影像数据，使“海量”成为遥感影像数据的重要特征，遥感影像在网络上的传输与服务已经成为遥感应用的重要手段，而这也对遥感数据的存储与管理提出了很高的要求。 　　目前遥感影像数据的管理主要采用数据库管理和文件管理两种方式。使用数据库技术[1] [2]可以保证数据的完整性和较高的共享性，一般多采用Oracle 数据库，但在关系型数据库高并发读写情况下，硬盘I/O无法应付，性能较差。当遥感数据量特别大时，数据的检索速度以及I/O效率就成为了瓶颈，而且受网络带宽的限制，数据量大时传输效率太低。为了提高遥感影像的网络传输效率，许多学者提出了基于文件管理方式的金字塔技术，将一个大数据文件切成许多不同分辨率的瓦片，每个瓦片以一个文件的形式存放在特定的目录下，该目录名包含空间或分辨率信息，以便于检索，NASA World Wind、GeoGlobe等多采用这种方式[3] [4]。但此方法的缺点在于文件的个数太多，不便于组织管理，文件调用时I/O频繁操作，读写速度慢，而且数据文件的安全性差。 　　另一方面，随着遥感技术的发展，遥感影像数据的更新越来越快，如何存储以及更新这些多时相遥感影像数据，显得越来越重要。在此背景下，本文提出基于金字塔结构的大文件存储方法，用来存储管理海量影像数据，针对于多时相影像数据提出了基于版本机制的影像数据管理模式。 2 基于大文件的遥感影像数据组织 2.1遥感影像数据的大文件存储管理 2.1.1大文件数据结构 　　遥感影像数据量非常庞大[5]，难以满足实时处理和网络传输的要求。但用户每次在浏览时，也只是浏览一个小的矩形区域，并不需要传送整个影像。所以在对影像数据进行组织存储之前需要对其建立影像金字塔，即对影像分块组织。但传统的文件都是以一块影像一个小文件的形式存在的，造成文件的数据量很大，I/O 操作频繁，读写速度慢，不便于组织管理[6] [7]。 　　针对传统遥感影像存储管理方式存在的问题，本文提出一种混合模式对海量遥感影像进行组织管理。与传统金字塔分块方法一样，对一个全球或者区域的遥感影像按照一定的规则进行分块，切成许多小瓦片，并按照Morton码等编码方法对分块后的影像数据进行重新组织，并将这些小瓦片影像数据有机地组织整合为一个“大文件”，有效的减少I/O操作，提高检索效率。 　　考虑到影像数据的海量特征和实际影像数据库规模的差异性，将所有的瓦片影像都存储到一个大文件中显然也是不合适的。因此，在基于大文件存储结构的数据库中，将包含若干个大文件，而其具体文件个数和单个文件的大小可以在实际部署时，根据数据量的大小、服务器性能、网络状况等进行配置。大文件存储结构如图2.1所示： 图2.1 大文件存储结构 Fig.2.1 The storage structure of big file 　　在大文件数据结构中，瓦片是按行存储的，按分辨率由低到高依次进行存储。大文件名后缀为dle的文件用来存储瓦片数据，包括文件头和数据体两部分。文件头存储瓦片的大小，偏移位置，数据体存储具体的瓦片数据。其数据结构如图2.2所示： 图2.2 dle文件数据结构 Fig.2.2 Data structure of DLE files 　　为了加快影像数据的检索速度，快速定位影像服务请求到具体的文件，我们利用dlx文件记录各个文件的元信息，包含原始影像分辨率、经纬度范围、金字塔层数等。其主要数据结构如图2.3所示： 图2.3 dlx文件数据结构 Fig.2.3 Data structure of DLX files 2.1.2遥感影像数据检索 　　遥感影像数据经过标准化处理，经过分块、命名，并基于大文件存储结构存储在硬盘上，需要根据用户的检索条件快速的获得相应的遥感影像数据。 　　遥感影像数据具体的检索流程如图2.4所示： 图2.4 遥感影像数据检索流程图 Fig.2.4 The flowchart of searching for remote sense images 　　根据请求经纬度范围快速检索大文件中对应的瓦片影像数据，首先需要遥感影像数据的地理坐标(经纬度)转换为对应的瓦片坐标。 　　假设利用MimLatitude、MaxLatitude、MinLongitude和MaxLongitude表示原始影像数据的最低纬度、最高纬度、最小经度以及最大经度，利用tileSize表示单个瓦片影像的尺寸大小。遥感影像数据的经纬度坐标转换对应瓦片坐标的算法如图2.5所示： 图2.5 遥感影像数据经纬度坐标转瓦片坐标算法 Fig.2.5 The algorithm of transfe