hadoop命令的基本格式.docx

hadoop命令的基本格式

Hadoop命令的基本格式主要有两种，可以互换使用。

hadoopfs?args

hdfsdfs?args

以下是一些常用的Hadoop命令及其示例：

查看指定目录下内容

命令：hadoopfs-ls[-h][-R]?args?或hdfsdfs-ls[-h][-R]?args

参数说明：-h人性化显示文件大小；-R递归显示目录内容。

示例：hadoopfs-ls-R/列出HDFS文件系统根目录下的所有目录和文件。

创建文件夹

命令：hadoopfs-mkdir[-p]?paths?或hdfsdfs-mkdir[-p]?paths

参数说明：-p创建父目录，如果父目录不存在则一并创建。

示例：hadoopfs-mkdir-p/bai/111/222/333跨目录创建多级目录。

上传文件

命令：hadoopfs-put?localfileordir...hdfsdir?或hdfsdfs-put?localfileordir...hdfsdir

示例：hdfsdfs-put/bai/1.txt2.txt/bai_1/将本地文件上传到HDFS指定目录。

下载文件

命令：hadoopfs-get?hdfsfileordir...localdir?或hdfsdfs-get?hdfsfileordir...localdir

示例：hdfsdfs-get/bai_01/01.txt02.txt/bai/将HDFS文件下载到本地指定目录。

追加内容到文件尾部

命令：hadoopfs-appendToFile?localfile...hdfsfile

示例：将本地文件内容追加到HDFS文件尾部。

查看文件内容

命令：hadoopfs-cat?hdfsfile?或hdfsdfs-cat?hdfsfile

示例：hdfsdfs-cat/bai/01.txt查看HDFS中指定文件的内容。

修改文件权限

命令：hadoopfs-chmod?modepath

示例：hadoopfs-chmod755/1.txt修改HDFS中指定文件的权限。

移动/重命名文件或目录

命令：hadoopfs-mv?hdfsfileordir...hdfsdir

示例：hdfsdfs-mv/bai/01.txt/bai_01/02.txt将HDFS中的文件重命名并移动到新目录。

复制文件或目录

命令：hadoopfs-cp?hdfsfileordir...hdfsdir

示例：hdfsdfs-cp/bai/01.txt/bai_01/复制HDFS中的文件到新目录。

删除文件或目录

命令：hadoopfs-rm[-r]?hdfsfileordir...

参数说明：-r递归删除目录及其内容。

示例：hdfsdfs-rm-r/bai递归删除HDFS中的目录及其内容。

合并下载多个文件

命令：hadoopfs-getmerge?hdfsdir?localfile

示例：将HDFS指定目录下所有文件排序后合并到本地指定文件中。

统计HDFS可用空间

命令：hadoopfs-df[-h]?path

参数说明：-h人性化显示文件系统大小。

示例：hadoopfs-df-h/查看HDFS根目录的可用空间。

修改文件的副本数

命令：hadoopfs-setrep[-w]?npath

参数说明：n为修改后的副本数；-w等待修改副本完成后再退出。

示例：hadoopfs-setrep2/small/1.txt将HDFS中指定文件的副本数修改为2。

Hadoop还提供了许多其他命令和选项，用于管理HDFS和Hadoop集群。