编辑“︁HDFS命令行操作”︁

= HDFS命令行操作 =

HDFS（Hadoop Distributed File System）是Hadoop的核心组件之一，用于存储和管理大规模数据集。HDFS提供了命令行接口（CLI），允许用户通过简单的命令与分布式文件系统交互。本节将详细介绍HDFS的常用命令行操作，适合初学者和需要快速掌握HDFS操作的程序员。

== 简介 ==
HDFS命令行操作通过`hadoop fs`或`hdfs dfs`命令执行（两者功能相同）。这些命令类似于Linux文件系统命令（如`ls`、`mkdir`、`cp`等），但专门针对HDFS设计。用户可以通过这些命令上传、下载、管理文件，以及监控HDFS状态。

== 基本命令 ==
以下是一些最常用的HDFS命令及其用法。

=== 列出目录内容 ===
使用`-ls`命令查看HDFS中的文件和目录：
<syntaxhighlight lang="bash">
hdfs dfs -ls /user/hadoop
</syntaxhighlight>
输出示例：
<pre>
Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2023-10-01 10:15 /user/hadoop/data
-rw-r--r--   1 hadoop supergroup       1024 2023-10-01 10:20 /user/hadoop/example.txt
drwxr-xr-x   - hadoop supergroup          0 2023-10-01 10:25 /user/hadoop/output
</pre>
解释：
* `drwxr-xr-x` 表示目录权限。
* `-rw-r--r--` 表示文件权限。
* 第三列是所有者（`hadoop`）和所属组（`supergroup`）。

=== 创建目录 ===
使用`-mkdir`命令在HDFS中创建目录：
<syntaxhighlight lang="bash">
hdfs dfs -mkdir /user/hadoop/newdir
</syntaxhighlight>
若父目录不存在，可添加`-p`参数递归创建：
<syntaxhighlight lang="bash">
hdfs dfs -mkdir -p /user/hadoop/parent/child
</syntaxhighlight>

=== 上传文件到HDFS ===
使用`-put`或`-copyFromLocal`命令将本地文件上传到HDFS：
<syntaxhighlight lang="bash">
hdfs dfs -put localfile.txt /user/hadoop/data/
</syntaxhighlight>
或：
<syntaxhighlight lang="bash">
hdfs dfs -copyFromLocal localfile.txt /user/hadoop/data/
</syntaxhighlight>

=== 下载文件到本地 ===
使用`-get`或`-copyToLocal`命令从HDFS下载文件：
<syntaxhighlight lang="bash">
hdfs dfs -get /user/hadoop/data/example.txt ./localdir/
</syntaxhighlight>
或：
<syntaxhighlight lang="bash">
hdfs dfs -copyToLocal /user/hadoop/data/example.txt ./localdir/
</syntaxhighlight>

=== 查看文件内容 ===
使用`-cat`命令查看HDFS中的文件内容：
<syntaxhighlight lang="bash">
hdfs dfs -cat /user/hadoop/data/example.txt
</syntaxhighlight>
输出示例：
<pre>
Hello, HDFS!
This is an example file.
</pre>

=== 删除文件或目录 ===
使用`-rm`命令删除文件：
<syntaxhighlight lang="bash">
hdfs dfs -rm /user/hadoop/data/oldfile.txt
</syntaxhighlight>
使用`-rm -r`递归删除目录：
<syntaxhighlight lang="bash">
hdfs dfs -rm -r /user/hadoop/olddir
</syntaxhighlight>

== 高级命令 ==
以下是一些更高级的HDFS命令。

=== 检查文件大小 ===
使用`-du`命令查看文件或目录的大小（以字节为单位）：
<syntaxhighlight lang="bash">
hdfs dfs -du -h /user/hadoop/data
</syntaxhighlight>
输出示例：
<pre>
1.5 K  /user/hadoop/data/example.txt
3.2 M  /user/hadoop/data/largefile.csv
</pre>
* `-h`参数以人类可读格式（KB、MB等）显示大小。

=== 移动或重命名文件 ===
使用`-mv`命令移动或重命名HDFS中的文件：
<syntaxhighlight lang="bash">
hdfs dfs -mv /user/hadoop/data/oldname.txt /user/hadoop/data/newname.txt
</syntaxhighlight>

=== 设置文件权限 ===
使用`-chmod`命令修改文件权限：
<syntaxhighlight lang="bash">
hdfs dfs -chmod 755 /user/hadoop/data/example.txt
</syntaxhighlight>
使用`-chown`命令修改文件所有者：
<syntaxhighlight lang="bash">
hdfs dfs -chown newuser:newgroup /user/hadoop/data/example.txt
</syntaxhighlight>

=== 检查HDFS空间使用情况 ===
使用`-df`命令查看HDFS的磁盘空间使用情况：
<syntaxhighlight lang="bash">
hdfs dfs -df -h
</syntaxhighlight>
输出示例：
<pre>
Filesystem               Size    Used  Available  Use%
hdfs://namenode:8020  100.0 G   25.3 G     74.7 G   25%
</pre>

== 实际案例 ==
以下是一个真实场景中的HDFS命令行操作示例。

=== 场景：批量上传日志文件并分析 ===
1. 创建HDFS目录存放日志文件：
<syntaxhighlight lang="bash">
hdfs dfs -mkdir -p /user/hadoop/logs/2023-10-01
</syntaxhighlight>
2. 上传本地日志文件到HDFS：
<syntaxhighlight lang="bash">
hdfs dfs -put /var/log/app/*.log /user/hadoop/logs/2023-10-01/
</syntaxhighlight>
3. 检查上传的文件：
<syntaxhighlight lang="bash">
hdfs dfs -ls -h /user/hadoop/logs/2023-10-01
</syntaxhighlight>
4. 运行MapReduce作业分析日志（假设已编写作业）：
<syntaxhighlight lang="bash">
hadoop jar loganalyzer.jar /user/hadoop/logs/2023-10-01 /user/hadoop/output
</syntaxhighlight>

== 总结 ==
HDFS命令行操作是与Hadoop交互的基础工具。通过`hdfs dfs`或`hadoop fs`命令，用户可以轻松管理分布式文件系统中的数据和目录。本文涵盖了从基本操作（如`ls`、`mkdir`）到高级功能（如权限管理、空间监控）的全面指南，适合不同水平的用户学习和参考。

[[Category:大数据框架]]
[[Category:Apache Hadoop]]
[[Category:HDFS文件系统]]