Hadoop命令行工具[编辑 | 编辑源代码]

Hadoop命令行工具是一组用于与Hadoop分布式文件系统（HDFS）和YARN资源管理器交互的实用程序。这些工具允许用户执行文件操作、提交作业、监控集群状态以及管理数据存储。对于初学者和高级用户来说，掌握这些命令是使用Hadoop生态系统的关键一步。

基本介绍[编辑 | 编辑源代码]

Hadoop命令行工具主要通过`hadoop fs`、`hdfs dfs`和`yarn`命令来操作。虽然`hadoop fs`和`hdfs dfs`在大多数情况下可以互换，但`hdfs dfs`是专门针对HDFS的操作，而`hadoop fs`是一个更通用的接口，支持多种文件系统（如本地文件系统、S3等）。

常用命令语法[编辑 | 编辑源代码]

以下是一些基本命令的通用语法：

hadoop fs -<command> [options]
hdfs dfs -<command> [options]
yarn <command> [options]

HDFS文件操作命令[编辑 | 编辑源代码]

HDFS命令行工具允许用户像操作本地文件系统一样管理分布式文件。

1. 列出目录内容[编辑 | 编辑源代码]

hdfs dfs -ls /user/hadoop

输出示例：

Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2023-10-01 10:00 /user/hadoop/input
drwxr-xr-x   - hadoop supergroup          0 2023-10-01 10:05 /user/hadoop/output
-rw-r--r--   1 hadoop supergroup       1024 2023-10-01 10:10 /user/hadoop/readme.txt

2. 创建目录[编辑 | 编辑源代码]

hdfs dfs -mkdir /user/hadoop/newdir

3. 上传文件到HDFS[编辑 | 编辑源代码]

hdfs dfs -put localfile.txt /user/hadoop/input/

4. 从HDFS下载文件[编辑 | 编辑源代码]

hdfs dfs -get /user/hadoop/input/localfile.txt ./download/

5. 查看文件内容[编辑 | 编辑源代码]

hdfs dfs -cat /user/hadoop/input/localfile.txt

YARN资源管理命令[编辑 | 编辑源代码]

YARN命令用于管理集群资源和运行应用程序。

1. 列出运行中的应用程序[编辑 | 编辑源代码]

yarn application -list

输出示例：

Total Applications:1
Application-Id      Application-Name    User      Queue       State       Final-State   Progress
application_123     WordCount          hadoop    default     RUNNING     UNDEFINED     75%

2. 杀死应用程序[编辑 | 编辑源代码]

yarn application -kill application_123

高级用法[编辑 | 编辑源代码]

对于高级用户，Hadoop命令行工具还支持更复杂的操作。

1. 设置文件副本数[编辑 | 编辑源代码]

hdfs dfs -setrep -w 3 /user/hadoop/importantfile.txt

这将把文件的副本数设置为3，并等待操作完成。

2. 使用通配符[编辑 | 编辑源代码]

hdfs dfs -getmerge /user/hadoop/logs/2023-10-* ./merged_log.txt

这将合并所有匹配的文件到一个本地文件。

实际案例[编辑 | 编辑源代码]

假设我们需要处理一个大型日志文件集合：

1. 首先将日志上传到HDFS：

hdfs dfs -mkdir /user/hadoop/logs
hdfs dfs -put /var/log/app/*.log /user/hadoop/logs/

2. 运行MapReduce作业：

hadoop jar hadoop-examples.jar wordcount /user/hadoop/logs /user/hadoop/output

3. 监控作业进度：

yarn application -list

4. 获取结果：

hdfs dfs -get /user/hadoop/output/part-r-00000 ./results.txt

性能考虑[编辑 | 编辑源代码]

使用Hadoop命令行工具时应注意：

大文件操作可能耗时较长，可以使用`-D`参数调整参数
频繁的小文件操作会影响性能，应考虑合并
网络带宽可能成为瓶颈

常见问题解答[编辑 | 编辑源代码]

Q: hadoop fs和hdfs dfs有什么区别？ A: 功能上几乎相同，但`hdfs dfs`只针对HDFS，而`hadoop fs`支持多种文件系统。

Q: 如何递归删除目录？ A: 使用`-rm -r`选项：

hdfs dfs -rm -r /user/hadoop/olddir

总结[编辑 | 编辑源代码]

Hadoop命令行工具是管理和操作Hadoop集群的基础。从简单的文件操作到复杂的作业管理，这些命令为用户提供了强大的控制能力。通过熟练掌握这些工具，用户可以有效地在Hadoop环境中工作。