2024年“中银杯”安徽省职业院校技能大赛（高职组）大数据应用开发赛项规程.pdf

2024年安徽省职业院校技能大赛（高职组）

“大数据应用开发”赛项规程

一、赛项名称

赛项名称：大数据应用开发

赛项组别：高职组

赛项归属产业：电子与信息大类

二、竞赛目的

为适应大数据产业对高素质技术技能型人才的职业需求，赛项以大数据应用开发

为核心内容和工作基础，重点考查参赛选手基于Hadoop、Spark、Flink平台环境下，

充分利用SparkCore、SparkSQL、Flume、Kafka、Flink、Hive、HBase、Redis、Maxwell、

ClickHouse、MySQL等相关技术的特点，基于Scala、Java、JavaScript等开发语言，

综合软件开发相关技术，解决实际问题的能力，激发学生对大数据相关知识和技术的

学习兴趣，提升学生职业素养和职业技能，努力为中国大数据产业的发展储备及输送

新鲜血液。

通过举办本赛项，可以搭建校企合作的平台，提升大数据专业及其他相关专业毕

业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行

业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才

培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需

求差距，引领职业院校专业建设与课程改革。

三、竞赛方式

1.本赛项采用团体赛方式进行。

2.竞赛队伍组成：以院校为单位组队参赛，不得跨校组队，每个参赛队由1名领

队和4名选手（1名教师、3名学生）组成，参赛选手为教师的，须为职业院校教龄2

年以上（含）的在职教师，学生参赛选手需符合2024年安徽省职业院校技能大赛（高

-1-

职组）方案要求。参赛选手报名确认后不得随意更换，该赛项每所参赛院校所报队伍

数不超过2支。

3.竞赛时间4小时。

四、竞赛内容

赛项以大数据应用开发为核心内容和工作基础，重点考查参赛选手基于Hadoop、

Spark、Flink平台环境下，充分利用SparkCore、SparkSQL、Flume、Kafka、Flink、

Hive、HBase、Redis、Maxwell、ClickHouse、MySQL等技术的特点，综合软件开发相

关技术，解决实际问题的能力，具体包括：

1.掌握Hadoop平台、基于Spark的离线分析平台、基于Flink的实时分析平台，

在容器环境下，按照项目需求安装相关技术组件并按照需求进行合理配置；

2.掌握基于Spark的离线数据采集方式方法，完成指定数据的抽取并写入Hive分

区表中。掌握基于Flume、Maxwell的实时数据采集，将数据写入Kafka中；

3.综合利用Flink、Kafka、Hive、Redis、HBase、ClickHouse等技术，使用Java

或Scala开发语言，完成某电商系统的实时数据处理，包括使用Flink处理Kafka中

的数据、实时数据仓库、将数据备份至HBase中、建立Hive外表、将数据处理结果存

入Redis、ClickHouse中等操作；

4.综合利用Spark、Hive、MySQL、HBase、ClickHouse等相关技术，使用Scala

开发语言，完成某电商系统的离线数据处理，包括Hive数据仓库、使用Spark处理离

线数据、数据合并、去重、排序、数据类型转换、将数据处理结果存入MySQL、HBase、

ClickHouse中等操作；

5.综合运用HTML、CSS、JavaScript等开发语言，Vue.js前端技术，结合ECharts

数据可视化组件，利用后端数据接口完成数据可视化；

6.根据竞赛过程，完成综合分析报告的编写。

-2-

竞赛内容构成如下：

考核环节考核知识点和技能点

Docker基本操作

Hadoop完全分布式安装配置

Spark安装配置

Flink安装配置

大