博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HDFS 文件操作命令(2)
阅读量:6995 次
发布时间:2019-06-27

本文共 2478 字,大约阅读时间需要 8 分钟。

hot3.png

  1. cp

格式:hadoop dfs -cp URI [URI …] <dest>

作用:将文件拷贝到目标路径中。如果<dest> 为目录的话,可以将多个文件拷贝到该目录下。示例:

hadoop dfs -cp /user/hadoop/f ile1 /user/hadoop/f ile2

hadoop dfs -cp /user/hadoop/f ile1 /user/hadoop/f ile2 /user/hadoop/dir

返回值:成功结束返回0,出现错误返回-1。

  1. du

格式:hadoop dfs -du [-s] [-h] URI [URI …]

作用:如果参数为目录,显示该目录下所有目录+ 文件的大小;如果参数为单个文件,则显示文件大小。

选项意义:

-s 指输出所有文件大小的累加和,而不是每个文件的大小。

-h 会将文件大小的数值用方便阅读的形式表示,比如用64.0M 代替67108864。示例:

hadoop dfs -du /user/hadoop/dir1 /user/hadoop/file1\

hdfs:// nn.example.com/user/hadoop/dir1 返回值:成功结束返回0,出现错误返回-1。

  1. dus

格式:hadoop dfs -dus <args>

作用:显示文件的大小。这个命令等价于hadoop dfs -du-s。

  1. expunge

格式:hadoop dfs -expunge

作用:清空回收站。如需更多有关回收站特性的信息,请参考其他资料和文献。

  1. get

格式:hadoop dfs -get [-ignorecrc] [-crc] <src><localdst>

作用:将文件拷贝到本地文件系统。CRC 校验失败的文件可通过-ignorecrc 选项拷贝。

文件和CRC 校验和可以通过-crc 选项拷贝。

示例:

hadoop dfs -get /user/hadoop/f ile localf ile

hadoop dfs -get hdfs:// nn.example.com/user/hadoop/f ile localf ile

返回值:成功结束返回0,出现错误返回-1。

  1. getmerge

格式:hadoop dfs -getmerge <src><localdst> [addnl]

作用:命令参数为一个源文件目录和一个目的文件。将源文件目录下的所有文件排序后合并到目的文件中。添加addnl 可以在每个文件后面插入新行。

  1. ls

格式:hadoop dfs -ls <args>

作用:对于一个文件,该命令返回的文件状态以如下格式列出:

permissions number_of_replicas userid groupid f ilesize

modif ication_date modif ication_time f ilename 从左到右的意义分别是:文件权限,副本个数,用户ID,组ID,文件大小,最近一次修改日期,最近一次修改时间,文件名。

对于一个目录,该命令返回这一目录下的第一层子目录和文件,与Unix 中ls 命令的结果类似;结果以如下状态列出:

permissions userid groupid modif ication_date modif ication_time dirname

从左到右的意义分别是:文件权限,用户ID,组ID,最近一次修改日期,最近一次修改时间,文件名。

示例:

hadoop dfs -ls /user/hadoop/f ile1 返回值:成功结束返回0,出现错误返回-1。图3-9 所示是一个ls 命令显示结果示例。

  1. lsr

格式:hadoop dfs -lsr <args>

作用:在整个目录下递归执行ls,与Unix 中的ls-R 类似。

  1. mkdir

格式:hadoop dfs -mkdir <paths>

作用:以<paths> 中的URI 作为参数,创建目录。该命令的行为与Unix 中mkdir-p 的行为十分相似。这一路径上的父目录如果不存在,则创建该父目录。 示例:

hadoop dfs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

hadoop dfs -mkdir hdfs:// nn1.example.com/user/hadoop/dir
hdfs:// nn2.example.com/user/hadoop/dir 返回值:成功结束返回0,出现错误返回-1。

  1. moveFromLocal

格式:hadoop dfs -moveFromLocal <localsrc><dst>

作用:和put 命令类似,但是源文件localsrc 拷贝之后自身被删除。

  1. moveToLocal

格式:hadoop dfs -moveToLocal [-crc] <src><dst>

作用:输出“Not implemented yet”信息,也就是说当前版本中未实现此命令。

  1. mv

格式:hadoop dfs -mv URI [URI …] <dest>

作用:将文件从源路径移动到目标路径(移动之后源文件删除)。目标路径为目录的情况下,源路径可以有多个。跨文件系统的移动(本地到HDFS 或者反过来)是不允许的。

示例:

hadoop dfs -mv /user/hadoop/f ile1 /user/hadoop./f ile2

hadoop dfs -mv hdfs:// nn.example.com/f ile1
hdfs:// nn.example.com/f ile2 hdfs:// nn.example.com/f ile3
hdfs:// nn.example.com/dir1 返回值:

成功结束返回0,出现错误返回-1。

转载于:https://my.oschina.net/u/2381604/blog/800130

你可能感兴趣的文章