《大数据平台构建》实验一:Sqoop组件安装与配置.docx
实验一:Sqoop组件安装与配置
实验任务一:下载和解压Sqoop
Sqoop相关发行版本可以通过官网/apache/sqoop/来获取,如下图9-4所示。
?
图9-4Sqoop官网下载链接
安装Sqoop组件需要与Hadoop环境适配。使用root用户在Master节点上进行部署,将/opt/software/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz压缩包解压到/usr/local/src目录下。
[root@master~]#tar-zxvf/opt/software/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/src
将解压后生成的sqoop-1.4.7.bin__hadoop-2.6.0文件夹更名为sqoop。
[root@master~]#cd/usr/local/src/
?
[root@mastersrc]#mv./sqoop-1.4.7.bin__hadoop-2.6.0sqoop
?
实验任务二:配置Sqoop环境
步骤一:创建Sqoop的配置文件sqoop-env.sh。
复制sqoop-env-template.sh模板,并将模板重命名为sqoop-env.sh。
[root@master~]#cd/usr/local/src/sqoop/conf/
?
[root@masterconf]#cpsqoop-env-template.shsqoop-env.sh
步骤二:修改sqoop-env.sh文件,添加Hdoop、Hbase、Hive等组件的安装路径。
注意,下面各组件的安装路径需要与实际环境中的安装路径保持一致。
[root@masterconf]#visqoop-env.sh
?
exportHADOOP_COMMON_HOME=/usr/local/src/hadoop
exportHADOOP_MAPRED_HOME=/usr/local/src/hadoop
exportHBASE_HOME=/usr/local/src/hbase
exportHIVE_HOME=/usr/local/src/hive
步骤三:配置Linux系统环境变量,添加Sqoop组件的路径。
[root@masterconf]#vi/etc/profile
?
#在文件末尾添加
#setsqoopenvironment
exportSQOOP_HOME=/usr/local/src/sqoop
exportPATH=$PATH:$SQOOP_HOME/bin
exportCLASSPATH=$CLASSPATH:$SQOOP_HOME/lib
?
步骤四:连接数据库
为了使Sqoop能够连接MySQL数据库,需要将/opt/software/mysql-connector-java-5.1.46.jar文件放入sqoop的lib目录中。该jar文件的版本需要与MySQL数据库的版本相对应,否则Sqoop导入数据时会报错。(mysql-connector-java-5.1.46.jar对应的是MySQL5.7版本)若该目录没有jar包,则使用第6章导入home目录的jar包
[root@master~]#cp/opt/software/mysql-connector-java-5.1.46.jar/usr/local/src/sqoop/lib/
实验任务三:启动Sqoop
步骤一:执行Sqoop前需要先启动Hadoop集群。
在master节点切换到hadoop用户执行start-all.sh命令启动Hadoop集群。
[root@master~]#su-hadoop
?
[hadoop@master~]$source/etc/profile
?
[hadoop@master~]$start-all.sh
步骤二:检查Hadoop集群的运行状态。
[hadoop@master~]$jps
1457NameNode
1795ResourceManager
2060Jps
1646SecondaryNameNode
步骤三:测试Sqoop是否能够正常连接MySQL数据库。
#Sqoop连接MySQL数据库P大写密码Password123$
[hadoop@master~]$?sqooplist-databases--connectjdbc:mysql://: