Hadoop大数据开发实例教程：基于Shell和Java API操作HDFSPPT教学课件.pptx

基于Shell和JavaAPI操作HDFS044.1基于Shell的操作4.2Eclipse的安装、配置与应用4.3基于JavaAPI的操作4.4实训4HDFS文件操作

掌握HDFS常用的文件级和系统级命令掌握Eclipse的安装与配置知道Hadoop插件如何通过Eclipse的DFS操作HDFS掌握基于JavaAPI对HDFS进行基本操作的代码编写1243本模块主要基于Shell和JavaAPI对HDFS进行基本操作，先是基于Shell对HDFS文件级命令和系统级命令进行操作，接着进行Eclipse的安装与配置，同时编写JavaAPI测试HDFS连接，最后基于JavaAPI在HDFS上进行上传、下载、创建、浏览和删除的基本操作。目标和要求基于Shell和JavaAPI操作HDFS

4.1基于Shell的操作HDFS有很多用户接口，而Shell接口是管理HDFS的最简单接口，通过Shell命令行，能够很方便地查看HDFS文件系统、系统级别的统计信息和数据管理工具。4.1.1HDFS文件级命令所有命令均由bin/hadoop脚本调用，HDFS文件级命令的两种格式如下：(1)hadoopfs-command。(2)hdfsdfs-command。以上两种格式推荐使用第一种命令格式，为了方便后续的操作学习，表4-1列举了常用HDFS文件级命令。

4.1基于Shell的操作4.1.1HDFS文件级命令表4-1常用HDFS文件级命令及作用

4.1基于Shell的操作1．列出文件列表4.1.1HDFS文件级命令

4.1基于Shell的操作2．创建目录4.1.1HDFS文件级命令

4.1基于Shell的操作3．上传文件到HDFS4.1.1HDFS文件级命令

4.1基于Shell的操作4．下载文件到本地5．在HDFS内复制文件4.1.1HDFS文件级命令

4.1基于Shell的操作6．查看HDFS文件内容4.1.1HDFS文件级命令

4.1基于Shell的操作7．删除HDFS文件4.1.1HDFS文件级命令

4.1基于Shell的操作8.其他HDFS命令其他HDFS命令如下：(1)修改文件权限的命令：hadoopfs-chmod［-R］。(2)修改文件属主/组的命令：hadoopfs-chown［-R］［owner］［:［group］］。(3)显示目录中所有文件大小的命令：hadoopfs-du［-s］。(4)移动/重命名HDFS中文件的命令：hadoopfs-mv。HDFS的命令还有很多，这里不一一列举，可以通过hadoopfs命令查看Hadoop提供的脚本命令。4.1.1HDFS文件级命令

4.1基于Shell的操作4.1.2HDFS系统级命令HDFS系统级信息指的是针对整个HDFS系统的统计信息，HDFS系统级命令的两种格式如下：(1)hadoopdfsadmin-command。(2)hdfsdfsadmin-command。推荐使用以上两种格式中的第二种命令格式，dfsadmin命令集主要用来管理HDFS服务，为了方便后续操作学习，表4-2列举了常用HDFS系统级命令及作用。表4-2常用HDFS系统级命令及作用

4.1基于Shell的操作4.1.2HDFS系统级命令学会利用hdfsdfsadmin-help命令来显示帮助信息，接下来通过Shell实践操作HDFS系统管理的一些命令。HDFS的命令还有不少，版本不同，可能命令功能、参数也有所不同，可以通过hdfsdfsadmin命令查看Hadoop提供的系统级管理命令。

4.2Eclipse的安装、配置与应用4.2.1Eclipse的安装与配置用户可以通过Shell对HDFS进行操作，也可以通过JavaAPI对其操作，接下来先进行开发环境的搭建与基本配置。从Eclipse官网下载开发工具，此处以EclipseVersion：Mars.1Release(4.5.1)版本为例。将下载好的软件进行安装或解压操作，具体的操作过程不再赘述。由于后续会通过Hadoop插件来开发HDFS项目，因此需要通过网络下载Hadoop-plugin插件“hadoop-eclipse-plugin-2.×.0.jar”，并将此插件复制到Eclipse安装目录下的“dropins＼plugins”或者“plug