HDFS命令行操作[编辑 | 编辑源代码]

HDFS（Hadoop Distributed File System）是Hadoop的核心组件之一，用于存储和管理大规模数据集。HDFS提供了命令行接口（CLI），允许用户通过简单的命令与分布式文件系统交互。本节将详细介绍HDFS的常用命令行操作，适合初学者和需要快速掌握HDFS操作的程序员。

简介[编辑 | 编辑源代码]

HDFS命令行操作通过`hadoop fs`或`hdfs dfs`命令执行（两者功能相同）。这些命令类似于Linux文件系统命令（如`ls`、`mkdir`、`cp`等），但专门针对HDFS设计。用户可以通过这些命令上传、下载、管理文件，以及监控HDFS状态。

基本命令[编辑 | 编辑源代码]

以下是一些最常用的HDFS命令及其用法。

列出目录内容[编辑 | 编辑源代码]

使用`-ls`命令查看HDFS中的文件和目录：

hdfs dfs -ls /user/hadoop

输出示例：

Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2023-10-01 10:15 /user/hadoop/data
-rw-r--r--   1 hadoop supergroup       1024 2023-10-01 10:20 /user/hadoop/example.txt
drwxr-xr-x   - hadoop supergroup          0 2023-10-01 10:25 /user/hadoop/output

解释：

`drwxr-xr-x` 表示目录权限。
`-rw-r--r--` 表示文件权限。
第三列是所有者（`hadoop`）和所属组（`supergroup`）。

创建目录[编辑 | 编辑源代码]

使用`-mkdir`命令在HDFS中创建目录：

hdfs dfs -mkdir /user/hadoop/newdir

若父目录不存在，可添加`-p`参数递归创建：

hdfs dfs -mkdir -p /user/hadoop/parent/child

上传文件到HDFS[编辑 | 编辑源代码]

使用`-put`或`-copyFromLocal`命令将本地文件上传到HDFS：

hdfs dfs -put localfile.txt /user/hadoop/data/

或：

hdfs dfs -copyFromLocal localfile.txt /user/hadoop/data/

下载文件到本地[编辑 | 编辑源代码]

使用`-get`或`-copyToLocal`命令从HDFS下载文件：

hdfs dfs -get /user/hadoop/data/example.txt ./localdir/

或：

hdfs dfs -copyToLocal /user/hadoop/data/example.txt ./localdir/

查看文件内容[编辑 | 编辑源代码]

使用`-cat`命令查看HDFS中的文件内容：

hdfs dfs -cat /user/hadoop/data/example.txt

输出示例：

Hello, HDFS!
This is an example file.

删除文件或目录[编辑 | 编辑源代码]

使用`-rm`命令删除文件：

hdfs dfs -rm /user/hadoop/data/oldfile.txt

使用`-rm -r`递归删除目录：

hdfs dfs -rm -r /user/hadoop/olddir

高级命令[编辑 | 编辑源代码]

以下是一些更高级的HDFS命令。

检查文件大小[编辑 | 编辑源代码]

使用`-du`命令查看文件或目录的大小（以字节为单位）：

hdfs dfs -du -h /user/hadoop/data

输出示例：

1.5 K  /user/hadoop/data/example.txt
3.2 M  /user/hadoop/data/largefile.csv

`-h`参数以人类可读格式（KB、MB等）显示大小。

移动或重命名文件[编辑 | 编辑源代码]

使用`-mv`命令移动或重命名HDFS中的文件：

hdfs dfs -mv /user/hadoop/data/oldname.txt /user/hadoop/data/newname.txt

设置文件权限[编辑 | 编辑源代码]

使用`-chmod`命令修改文件权限：

hdfs dfs -chmod 755 /user/hadoop/data/example.txt

使用`-chown`命令修改文件所有者：

hdfs dfs -chown newuser:newgroup /user/hadoop/data/example.txt

检查HDFS空间使用情况[编辑 | 编辑源代码]

使用`-df`命令查看HDFS的磁盘空间使用情况：

hdfs dfs -df -h

输出示例：

Filesystem               Size    Used  Available  Use%
hdfs://namenode:8020  100.0 G   25.3 G     74.7 G   25%

实际案例[编辑 | 编辑源代码]

以下是一个真实场景中的HDFS命令行操作示例。

场景：批量上传日志文件并分析[编辑 | 编辑源代码]

1. 创建HDFS目录存放日志文件：

hdfs dfs -mkdir -p /user/hadoop/logs/2023-10-01

2. 上传本地日志文件到HDFS：

hdfs dfs -put /var/log/app/*.log /user/hadoop/logs/2023-10-01/

3. 检查上传的文件：

hdfs dfs -ls -h /user/hadoop/logs/2023-10-01

4. 运行MapReduce作业分析日志（假设已编写作业）：

hadoop jar loganalyzer.jar /user/hadoop/logs/2023-10-01 /user/hadoop/output

总结[编辑 | 编辑源代码]

HDFS命令行操作是与Hadoop交互的基础工具。通过`hdfs dfs`或`hadoop fs`命令，用户可以轻松管理分布式文件系统中的数据和目录。本文涵盖了从基本操作（如`ls`、`mkdir`）到高级功能（如权限管理、空间监控）的全面指南，适合不同水平的用户学习和参考。