Spark大数据分析 课件 第2章 Spark集群安装配置.pptx
集群环境准备
系统环境配置
JDK安装
Hadoop集群部署
ZooKeeper集群部署
Scala安
装
0
1
0
2
0
4
0
5
03
系统环境配置
○
应
1
1.安装linux系统：Centos
2.网络环境配置
·关于系统的安装这里不做详细的介绍，本次安装的系统为centos7,可以在阿里镜像镜像网站
(/centos/7/isos/x8
6_64/)或者官网
(/download/)下载镜像。
·使用的软件：VMwareWorkstation
·系统安装要求：
·无桌面版最小化安装
·网络连接方式：NAT
·内存2G及以上
·磁盘大小30G及以上
·CPU1核以上
·在系统安装完成后需要配置虚拟机的网卡信息。·(1)NAT信息查看
·①打开VMware
·②找到菜单栏中的编辑,选择“虚拟网络编辑器”·③选择VMnet8,NAT设置
(2)打开虚拟机命令行界面，修改网卡信息
系统环境配置
3.配置防火墙
4.主机名修改
·CentoS7默认使用的是firewal1作为防火墙。
·firewall操作：
·#servicefirewalldstatus;#查看防火墙状态
·(disabled表明已经禁止开启启动enable表示开机自启，inactive表示防火墙关闭状态activated
(running)表示为开启状态)
·vi与vim
·vi编辑器是所有Unix及Linux系统下标准的编辑器，
他就相当于windows系统中的记事本一样，它的强大
不逊色于任何最新的文本编辑器。他是我们使用Linux系统不能缺少的工具。由于对Unix及Linux系统的任
何版本，vi编辑器是完全相同的，学会它后，你将在Linux的世界里畅行无阻。
·vim具有程序编辑的能力，可以以字体颜色辨别语法
的正确性，方便程序设计，因为程序简单，编辑速度相当快速。
系统环境配置
JDK安装
Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了
C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，方便程序员以面向对象的思维方式进行复杂的编程。Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。Java可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等。
1.面向对象编程语言—Java
JDK安装
JDK(JavaDevelopmentKit)是Java语言的软件开发工具包，主要用于移动设备、
嵌入式设备上的Java应用程序。JDK是整个Java开发的核心，它包含了Java
的运行环境(JVM+Java系统类库)和Java工具。JDK包含的基本组件包括：
javac:编译器，将源程序转成字节码。
jar:打包工具，将相关的类文件打包成一个文件。
javadoc:文档生成器，从源码注释中提取文档。
jdb:debugger,查错工具。
java:运行编译后的Java程序(.class后缀的)。
appletviewer:小程序浏览器，一种执行HTML文件上的Java小程序的Java
浏览器。
Javah:产生可以调用Java过程的C过程，或建立能被Java程序调用的C过程的头文件。
Javap:Java反汇编器，显示编译类文件中的可访问功能和数据，同时显示字节代码
含义。
Jconsole:Java进行系统调试和监控的工具。
2.JDK
Storm
JRE(JavaRuntimeEnvironment)Java运行环境，包括两部分：JavaRuntime
Environment和JavaPlug-in。JRE是可以在其上运行、测试和传输应用程序的Java平台。它包括JVM(Java虚拟机)、Java核心类库和支持文件。它不包含开发工具(JDK
)一编译器、调试器和其它工具。JRE需要辅助软件(JavaPlug-in)以便在浏览器中运行applet。
JRE可以支撑Java程序的运行，包括JVM虚拟机(java.exe等)和基本的类库(
rt.jar等),