大数据培训
美国上市大数据培训机构

400-111-8989

大数据培训

Hadoop入门之HDFS基本命令

  • 发布:大数据培训
  • 来源:大数据教程
  • 时间:2018-01-31 14:29

Hadoop入门之HDFS基本命令

今天来聊聊Hadoop分布式文件系统(HDFS)

基本格式

hadoop fs -cmd < args >

ls

列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls /列出hdfs文件系统所有的目录和文件 hadoop fs -ls -R /

put

目录一定要存在,否则命令不会执行 hadoop fs -put < local file or dir> < hdfs file or dir>

moveFrmLocal

与put相类似,命令执行后源文件 local src 被删除 hadoop fs -moveFromLocal < local src > ... < hdfs dst >

copyFromLocal

与put相类似 hadoop fs -copyFromLocal < local src > ... < hdfs dst >

get

local file不能和 hdfs file名字不能相同,否则会提示文件已存在,没有重名的文件会复制到本地 hadoop fs -get < hdfs file > < local file or dir>拷贝多个文件或目录到本地时,本地要为文件夹路径 hadoop fs -get < hdfs file or dir > ... < local dir >

copyToLocal

与get相类似 hadoop fs -copyToLocal < local src > ... < hdfs dst >

rm

hadoop fs -rm < hdfs file > ...hadoop fs -rm -r < hdfs dir>...

mdkir

-p规避父目录不存在问题 hadoop fs -mkdir -p < hdfs path>

cp

hadoop fs -cp < hdfs file or dir> < hdfs file or dir>

mv

hadoop fs -mv < hdfs file > < hdfs file >

count

统计hdfs对应路径下的目录个数,文件个数,文件总计大小 hadoop fs -count < hdfs path >

du

显示hdfs对应路径下每个文件夹和文件的大小 hadoop fs -du < hdsf path> 显示hdfs对应路径下所有文件和的大小 hadoop fs -du -s < hdsf path> 显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示 hadoop fs -du - h < hdsf path>

text

将文本文件或某些格式的非文本文件通过文本格式输出 hadoop fs -text < hdsf file>

setrep

改变一个文件在hdfs中的副本个数,上述命令中数字3为所设置的副本个数,-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作 hadoop fs -setrep -R 3 < hdfs path >

stat

返回对应路径的状态信息hdoop fs -stat [format] < hdfs path >[format]可选参数有:%b(文件大小),%o(Block大小),%n(文件名),%r(副本个数),%y(最后一次修改日期和时间)

tail

在标准输出中显示文件末尾的1KB数据 hadoop fs -tail < hdfs file >

感谢大家阅读由大数据培训机构分享的“Hadoop入门之HDFS基本命令”希望对大家有所帮助,更多精彩内容请关注大数据培训官网

免责声明:本文由小编转载自网络,旨在分享提供阅读,版权归原作者所有,如有侵权请联系我们进行删除

预约申请免费试听课

填写下面表单即可预约申请免费试听!怕钱不够?可就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可全国推荐就业!

上一篇:搞大数据,怎能不懂Data Lake数据湖?
下一篇:Java并发核心知识——5个性能分析
你真的理解了MVC, MVP, MVVM吗?

你真的理解了MVC, MVP, MVVM吗?

Spring中定时器实现

Spring中定时器实现

Servlet请求和响应

Servlet请求和响应

Spring AOP 的实现机制

Spring AOP 的实现机制

选择城市和中心
贵州省

广西省

海南省