一种大文件多版本遥感影像数据组织的管理方法.doc
文本预览下载声明
一种大文件多版本遥感影像数据组织管理方法
1 引言
近年来,遥感技术[1]的飞速发展为我们提供了丰富的高质量、高清晰影像数据,使“海量”成为遥感影像数据的重要特征,遥感影像在网络上的传输与服务已经成为遥感应用的重要手段,而这也对遥感数据的存储与管理提出了很高的要求。
目前遥感影像数据的管理主要采用数据库管理和文件管理两种方式。使用数据库技术[1] [2]可以保证数据的完整性和较高的共享性,一般多采用Oracle 数据库,但在关系型数据库高并发读写情况下,硬盘I/O无法应付,性能较差。当遥感数据量特别大时,数据的检索速度以及I/O效率就成为了瓶颈,而且受网络带宽的限制,数据量大时传输效率太低。为了提高遥感影像的网络传输效率,许多学者提出了基于文件管理方式的金字塔技术,将一个大数据文件切成许多不同分辨率的瓦片,每个瓦片以一个文件的形式存放在特定的目录下,该目录名包含空间或分辨率信息,以便于检索,NASA World Wind、GeoGlobe等多采用这种方式[3] [4]。但此方法的缺点在于文件的个数太多,不便于组织管理,文件调用时I/O频繁操作,读写速度慢,而且数据文件的安全性差。
另一方面,随着遥感技术的发展,遥感影像数据的更新越来越快,如何存储以及更新这些多时相遥感影像数据,显得越来越重要。在此背景下,本文提出基于金字塔结构的大文件存储方法,用来存储管理海量影像数据,针对于多时相影像数据提出了基于版本机制的影像数据管理模式。
2 基于大文件的遥感影像数据组织
2.1遥感影像数据的大文件存储管理
2.1.1大文件数据结构
遥感影像数据量非常庞大[5],难以满足实时处理和网络传输的要求。但用户每次在浏览时,也只是浏览一个小的矩形区域,并不需要传送整个影像。所以在对影像数据进行组织存储之前需要对其建立影像金字塔,即对影像分块组织。但传统的文件都是以一块影像一个小文件的形式存在的,造成文件的数据量很大,I/O 操作频繁,读写速度慢,不便于组织管理[6] [7]。
针对传统遥感影像存储管理方式存在的问题,本文提出一种混合模式对海量遥感影像进行组织管理。与传统金字塔分块方法一样,对一个全球或者区域的遥感影像按照一定的规则进行分块,切成许多小瓦片,并按照Morton码等编码方法对分块后的影像数据进行重新组织,并将这些小瓦片影像数据有机地组织整合为一个“大文件”,有效的减少I/O操作,提高检索效率。
考虑到影像数据的海量特征和实际影像数据库规模的差异性,将所有的瓦片影像都存储到一个大文件中显然也是不合适的。因此,在基于大文件存储结构的数据库中,将包含若干个大文件,而其具体文件个数和单个文件的大小可以在实际部署时,根据数据量的大小、服务器性能、网络状况等进行配置。大文件存储结构如图2.1所示:
图2.1 大文件存储结构
Fig.2.1 The storage structure of big file
在大文件数据结构中,瓦片是按行存储的,按分辨率由低到高依次进行存储。大文件名后缀为dle的文件用来存储瓦片数据,包括文件头和数据体两部分。文件头存储瓦片的大小,偏移位置,数据体存储具体的瓦片数据。其数据结构如图2.2所示:
图2.2 dle文件数据结构
Fig.2.2 Data structure of DLE files
为了加快影像数据的检索速度,快速定位影像服务请求到具体的文件,我们利用dlx文件记录各个文件的元信息,包含原始影像分辨率、经纬度范围、金字塔层数等。其主要数据结构如图2.3所示:
图2.3 dlx文件数据结构
Fig.2.3 Data structure of DLX files
2.1.2遥感影像数据检索
遥感影像数据经过标准化处理,经过分块、命名,并基于大文件存储结构存储在硬盘上,需要根据用户的检索条件快速的获得相应的遥感影像数据。
遥感影像数据具体的检索流程如图2.4所示:
图2.4 遥感影像数据检索流程图
Fig.2.4 The flowchart of searching for remote sense images
根据请求经纬度范围快速检索大文件中对应的瓦片影像数据,首先需要遥感影像数据的地理坐标(经纬度)转换为对应的瓦片坐标。
假设利用MimLatitude、MaxLatitude、MinLongitude和MaxLongitude表示原始影像数据的最低纬度、最高纬度、最小经度以及最大经度,利用tileSize表示单个瓦片影像的尺寸大小。遥感影像数据的经纬度坐标转换对应瓦片坐标的算法如图2.5所示:
图2.5 遥感影像数据经纬度坐标转瓦片坐标算法
Fig.2.5 The algorithm of transfe
显示全部