警用勤务系统中海量GIS数据处理优化与实践.doc

警用勤务系统中海量GIS数据处理优化与实践 摘 要：随着空间位置的勤务考核业务需求的深入应用，传统的通过空间轨迹的历史数据进行查询、分析、统计已经无法满足当前的业务要求。传统方案存在占用磁盘空间大、冗余数据多、查询效率低等问题。故此，引入MapReduce大数据的处理办法，针对需要勤务统计的内容、方式进行实时规约、映射，并存储规约结果，再结合信度校验机制，为勤务统计提供更直接准确的数据来源。新方法极大的提高了查询效率，并使用合理的数据失效机制，减少了硬盘存储空间的占用和数据冗余。 关键词：MapReduce模式; ; 信度校验; 勤务考核； The Optimization and Implementation of Mass GIS Data’s Application in Police Service System Abstract: With the utilization of the spatial position’s service examination needs, the traditional scheme by querying, analyzing and tabulating the historical data of space trajectory have been unable to meet current business requirements. There are some problems exist in traditional scheme: take up disk space, redundant data and low query efficiency, etc. Therefore, the introduction of MapReduce: large data processing scheme could have real-time specification and map for the content and method that need service statistics, and then store protocol result. At the same time, combining with reliability verification mechanism could provide more direct and accurate source of data for statistical service.The new scheme greatly improves the query efficiency, and uses reasonable data failure mechanism. Because of which can largely reduce the occupancy of hard disk storage space and data redundancy. Key Words: MapReduce Pattern; PGIS; Reliability verification mechanism; Service examination; 1 引言 随着基于地理信息的警用业务需求的深入扩展，公安部从2003年起开始建设警用地理信息系统（Police Geographic Information System）。PGIS通过GPS定位技术，使可以对所有安装有GPS终端设备的警车进行实时监控管理，主要应用功能包括车辆显示、车辆实时跟踪、车辆查询与定位、历史轨迹查询、车辆控制等；PGIS为各种警情统计、分析提供了依据，从而为各种决策提供强有力的辅助支持。 2 业务分析及优化 2.1业务分析 按照交巡警总队移动警务管理业务部门的要求，需要的2.2传统解决方案 通过分析功能概况可以发现，若要完成各种情况的勤务统计，至少需要几个基础条件： 警车GPS历史信息表，用于存储不同时态时的位置信息，各项统计都需要依赖此表。 驻点区域表，用于存储驻点区域的范围及驻点时段等信息，警车驻点需要依赖此表。 巡逻区域表，用于存储巡逻区域的范围及巡逻时段等信息，警车巡逻需要依赖此表。 区域和警车信息的关联表，用于存储驻点及巡逻车辆所在的勤务考核区域。 图1 传统数据模型设计 其中，警车GPS历史信息表受到一些因素的制约。首先，由于勤务统计时间跨度大（如：考核单位要统计某车去年的离线情况），所以需要保存所有的历史轨迹信息。其次，由于警车的数量多、位置信息更新频率高（如：警车位置信息2秒更新一次，每车每天需要存储43200条数据，业务单位的400辆车每天将存储1728万，一年则需要存储63亿条数据。结合第一点，如果要统