hadoop中命令的使用--hdfs shell的基本使用

it2023-10-28  59

1、cat命令:hadoop fs -cat URI [URI …] 获取文件内容/目录信息 其中 URI 格式为scheme://authority/path Path为文件地址 scheme表示从哪读取:hdfs表示分布文件,file表示从本地 默认从hdfs里面读取,(可以修改配置)

2、chgrp命令:hadoop fs -chgrp [-R] GROUP URI [URI …] 改变文件/目录所属用户组 URI为文件/目录的path -R则为递归地添加

3、chmod命令: hadoop fs -chmod [-R] <MODE[,MODE]… | OCTALMODE> URI [URI …] 修改权限

4、Chown命令 修改所属用户

5、copyFromLocal命令 从本地复制到hdfs

6、copyToLocal命令 从hdfs复制到本地

7、Count 统计对应路径下的文件数

8、Cp 将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。

9、Du 显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小。

10、Dus 显示文件的大小。

11、Expunge 清空回收站。

12、Get 复制文件到本地文件系统。

13、Getmerge 使用方法:hadoop fs -getmerge [addnl] 接受一个源目录和一个目标文件作为输入,并且将源目录中所有的文件连接成本地目标文件。addnl是可选的,用于指定在每个文件结尾添加一个换行符。 14、Ls 如果是文件,则按照如下格式返回文件信息: 文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID 如果是目录,则返回它直接子文件的一个列表,就像在Unix中一样。目录返回列表的信息如下: 目录名

修改日期 修改时间 权限 用户ID 组ID

15、Lsr ls命令的递归版本

16、Mkdir 接受路径指定的uri作为参数,创建这些目录。

17、moveFromLocal 从本地剪切到hdfs

18、moveToLocal 这个版本不实现这个功能

19、Mv 将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

20、Put 从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

21、Rm 删除指定的文件。只删除非空目录和文件。

22、Rmr delete的递归版本。

23、Setrep 改变一个文件的副本系数。

24、Stat 返回指定路径的统计信息。

25、Tail 将文件尾部1K字节的内容输出到stdout。

26、Test -e 检查文件是否存在。如果存在则返回0。 -z 检查文件是否是0字节。如果是则返回0。 -d 如果路径是个目录,则返回1,否则返回0。

27、Text 将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

28、Touchz 创建一个0字节的空文件。

最新回复(0)