物联网大数据处理与分析技术规范.docx
1
T/ZPPXXXX—2025
物联网大数据处理与分析技术规范
1范围
本文件规定了物联网大数据处理与分析的基本架构、功能要求、性能要求、技术要求、数据要求、接口要求、安全要求、运维要求及评价改进相关内容。
本文件适用于物联网系统中大数据的采集、存储、处理、分析及应用等环节。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T35273GB/T37092GB/T37721
信息安全技术个人信息安全规范
信息安全技术密码模块安全要求
信息技术大数据分析系统功能要求
3术语和定义
下列术语和定义适用于本文件。3.1
物联网大数据internetofthingsbigdata
物联网设备产生的海量、多源、异构、实时/非实时数据。
4基本架构
架构应包括硬件层、网络层、支撑层、安全层、运维层、应用层。
——硬件层:系统的物理根基,包含服务器、存储设备、计算节点等硬件资源:
.服务器用于运行系统软件和处理数据的应用程序,为数据处理提供运算能力;
.存储设备负责存储原始数据、中间数据及分析处理后的结果数据;
.计算节点承担大规模数据并行计算的任务,处理大数据分析工作;
——网络层负责系统内外部的数据通信,对内实现硬件层、支撑层、应用层等各层之间的数据交互;对外与外部数据源、用户终端等进行数据的收发;
——支撑层:系统运行搭建软件环境和提供基础服务,包括操作系统、数据库管理系统、分布式文件系统、编程框架等,其中:
.操作系统管理硬件资源并为上层软件提供运行平台;
.数据库管理系统存储和管理数据的元数据、索引等信息;
.分布式文件系统用于存储大规模数据,确保数据存储的可靠性和可扩展性;
.编程框架为数据分析和处理任务提供编程模型和算法库,提升开发效率;
——安全层:防止非法用户的访问和恶意攻击,保障数据在存储、传输和处理过程中的保密性、完整性和可用性,防止恶意破坏和非法入侵系统,确保系统稳定、安全地运行;
——运维层:负责系统的日常维护和管理,包括硬件设备的监控和维护、网络状态的监测和优化、软件系统的更新和升级、数据备份和恢复等;
——接口层:与外部数据源建立连接,并为外部用户或其他系统提供访问接口;连接系统内的各个功能模块,确保数据采集模块、数据分析模块、数据查询模块和系统设置模块间的高效通信和数据交互,实现各模块的协同工作;
——应用层:面向用户的功能层,包括数据采集、数据分析、数据查询、系统设置功能。
5功能要求
2
T/ZPPXXXX—2025
5.1数据采集
数据采集宜包含以下功能:——实时采集
.应具备实时采集用户所需要的国家标准体系认证法规数据的功能,保存用户实时采集的信息;
——数据接收
.应具备接收实时采集的用户所需要的国家标准体系认证法规数据的功能,保存用户每次接收的数据信息;
——数据统计
.应具备大数据统计分析的功能,能分析统计出数据的性质,保存用户的数据统计信息;——数据传输
.应具备将统计数据传输至系统云盘的功能,并能保存数据传输信息,用户可查看。
5.2数据分析
5.2.1数据分析宜包含实时分析、智能分析和统计分析等功能。
5.2.2实时分析应具备对实时采集的数据进行实时分析的功能,并方便用户查看实时分析的结果。
5.2.3智能分析应具备对实时采集的信息进行自动清洗、转换、特征提取等功能,并方便用户查看智能分析的结果。
5.2.4统计分析应具备对采集的国家标准体系认证法规数据进行统计分析的功能,用户选择一个区域点击查看就可以查看到该区域的统计分析信息。
5.2.5统计分析模块要求如下:
——应支持基本的数值统计,如最大值、最小值、求和、总数等统计量;
——应支持分析数据集中趋势的统计,如平均数、中位数、众数等统计量;
——应支持分析数据离散程度的统计,如极差、方差、标准差等统计量;——应支持分析多个随机变量的关系,如协方差、相关系数等统计量;
——宜支持统计分析的自定义模板功能,保存常用的统计分析方案。
5.3数据查询
5.3.1数据查询宜包含标准查询、计划查询和公告查询等功能。
5.3.2标准查询应具备查询实时采集国家标准体系认证法规数据的功能,能保存用户的标准查询数据。
5.3.3计划查询应具备查询实时采集国家标准体系认证法规计划数据的功能,能保存用户的计划数据查询结果。
5.3.4公告查询应具备查询实时采集