JSG202229 2022年江苏省职业院校技能大赛（高职) 大数据技术与应用赛项 赛项规程.pdf

2022年江苏省职业院校技能大赛高职赛项规程

一、赛项名称

赛项编号：JSG202229

赛项名称：大数据技术与应用

赛项组别：学生组

赛项归属专业大类：电子信息类

二、竞赛目的

赛项以大数据技术与应用为核心内容和工作基础，重点考查参赛选手对当前

流行的大数据平台及生态组件的掌握程度，综合软件开发相关技术，解决实际问

题的能力，激发学生对大数据相关知识和技术的学习兴趣，提升学生职业素养和

职业技能，努力为中国大数据产业的发展储备及输送新鲜血液。

通过举办本赛项，可以提升高职院校大数据技术与应用专业及其他相关专业

毕业生的能力素质，满足企业用人需求，对接产业发展；同时使高职院校在专业

建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需

要，缩小人才培养与行业需求差距，引导职业院校专业建设与课程改革。

三、竞赛内容

(一)总括

项目竞赛内容以大数据技术与应用为核心，重点考查参赛选手基于当前流行

的大数据平台环境下，利用Spark平台技术生态组件，综合软件开发相关技术，

解决实际问题的能力具体包括：

1.掌握按照项目需求配置管理大数据平台及相关生态组件；

2.掌握企业常用数据采集技术，完成指定数据的采集及处理能力；

3.综合利用当前流行的Spark大数据平台相关技术，配以对应的程序开发语言，

完成数据清洗、存储、转化、分析及数据推送等一系列大数据操作；

4.对数据清洗分析结果进行可视化展现；

5.根据数据可视化结果，完成数据分析报告的编写；

竞赛时长4小时，竞赛连续进行。

1

（二）内容构成

表1竞赛内容构成一览表

考核环节考核知识点和技能点描述

Spark平台安装部署和基本配置

考察大数据平台及组件

Spark大数据平台及Spark平台的监测

的部署能力，运行管理

组件的部署管理Spark平台相关组件管理

能力和优化的能力

Spark平台的优化

网页源码查看与分析

考察学生多维度数据采

构建数据采集请求，抓取网络数据

集能力，数据的处理、数

数据采集数据处理

据的存储及同步以及数

数据存储（数据文件存储、数据库存储）及同步

据采集项目的部署。

数据采集部署

基于大数据平台架构组件和多维度的数据采集，

实现数据一致性检查、无效值

和缺省值的处理考察对分布式计算、分

多表数据合并和离群值处理布式存储系统、数据仓

通过常见的数据分析算法，对数据进行标准化、库等综合应用能力，灵

离散化和二元化分析