《Spark大数据技术与应用案例教程》教案 第2课 搭建Spark集群环境.pdf

课题搭建Spark集群环境

课时2课时（90min）

知识技能目标：

（1）了解Spark的生态系统

（2）熟悉Spark的运行架构

（3）熟悉Spark运行的基本流程

教学目标

（4）熟悉Spark的部署模式

素质目标：

增强学生遵守规则的意识，养成按规矩行事的习惯。加强学生基础知识的学习，实现从量变到质

变的转化，为个人的长远发展打下基础。

教学重点：熟悉Spark的运行架构、部署模式以及Spark运行的基本流程

教学重难点

教学难点：能独立搭建Spark集群环境

教学方案例分析法、问答法、讨论法、讲授法

教学用具电脑、投影仪、多媒体课件、教材

教学过程主要教学内容及步骤

【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过APP或其他学习软件，完成课

前任务

课前任务

请大家了解Spark的生态系统

【学生】完成课前任务

【教师】使用APP进行签到

考勤

【学生】班干部报请假人员及原因

【教师】提出以下问题：

问题导入Spark集群环境是如何组成的？

【学生】思考、举手回答

【教师】通过学生的回答引入新知，介绍Spark的生态系统、运行架构，以及Spark的运行的基

本流程和Spark的部署模式等知识

一、Spark的生态系统

【教师】介绍Spark的生态系统

Spark的设计遵循“一个软件栈满足不同应用场景”的理念，因此逐渐形成了一套成熟的生态系统。

传授新知

Spark的生态系统又称为伯努利数据分析栈（Berkerleydataanalyticsstack,BDAS），它是基于内存计算

的大数据并行计算框架，适用于各种各样的分布式平台系统。

Spark生态系统（见图1-4）以SparkCore为核心，专注于数据的处理分析。它支持Local、

Standalone、YARN和Kubernetes等多种部署模式，可以借助HDFS、MySQL、HBase和AmazonS3等

实现数据存储，还提供了SparkSQL、SparkStreaming、SparkMLlib和SparkGraphX等多种组件。其中，

SparkCore和Spark组件的详细介绍如下。

1

SparkSparkSpark

组件SparkSQL...

StreamingMLlibGraphX

Spark

任务调度内存管理存储管理RDD...

Core

部署模式