Hadoop安全架构[编辑 | 编辑源代码]

介绍[编辑 | 编辑源代码]

Hadoop安全架构是Hadoop生态系统中的核心组件，用于保护分布式存储（如HDFS）和计算（如MapReduce、YARN）资源免受未授权访问、数据泄露或恶意攻击。其设计基于多层安全机制，包括身份验证（Authentication）、授权（Authorization）、审计（Auditing）和数据加密（Data Encryption）。

Hadoop最初缺乏完善的安全机制，但随着企业级应用的需求增长，其安全架构逐步演变为基于Kerberos的身份验证和基于ACL（访问控制列表）或RBAC（基于角色的访问控制）的授权模型。以下将分模块详细解析其核心组件。

核心组件[编辑 | 编辑源代码]

1. 身份验证（Authentication）[编辑 | 编辑源代码]

Hadoop使用Kerberos协议实现强身份验证，确保用户和服务（如DataNode、NameNode）的身份合法性。

Kerberos工作流程[编辑 | 编辑源代码]

配置示例[编辑 | 编辑源代码]

在`core-site.xml`中启用Kerberos：

<property>
    <name>hadoop.security.authentication</name>
    <value>kerberos</value>
</property>

2. 授权（Authorization）[编辑 | 编辑源代码]

Hadoop通过以下机制控制资源访问权限：

HDFS ACL：扩展了传统的POSIX权限模型。
YARN队列ACL：限制用户提交任务到特定队列。

HDFS ACL示例[编辑 | 编辑源代码]

为目录`/data/secure`设置用户`alice`的读写权限：

hdfs dfs -setfacl -m user:alice:rw- /data/secure
hdfs dfs -getfacl /data/secure
# 输出：
# user::rwx
# user:alice:rw-
# group::r-x
# mask::rwx

3. 审计（Auditing）[编辑 | 编辑源代码]

Hadoop记录关键操作（如文件访问、任务提交）到审计日志，通常存储在`/var/log/hadoop-audit.log`。

4. 数据加密（Data Encryption）[编辑 | 编辑源代码]

支持传输层加密（TLS/SSL）和静态数据加密（HDFS Transparent Encryption）。

启用HDFS加密[编辑 | 编辑源代码]

hdfs crypto -createZone -keyName mykey -path /zone/encrypted

实际案例[编辑 | 编辑源代码]

案例：金融数据保护 某银行使用Hadoop存储客户交易数据，通过以下措施保障安全： 1. Kerberos验证所有分析师和ETL服务身份。 2. HDFS ACL限制只有风控团队可访问`/data/transactions`。 3. 审计日志追踪所有数据访问行为。

数学基础[编辑 | 编辑源代码]

Kerberos依赖对称加密算法（如AES），其安全性基于以下假设： 解析失败 (语法错误): {\displaystyle E(K, M) = C \\ D(K, C) = M } 其中， $E$ 为加密函数， $D$ 为解密函数， $K$ 为密钥， $M$ 为明文， $C$ 为密文。

总结[编辑 | 编辑源代码]

Hadoop安全架构通过多层防护机制（身份验证、授权、审计、加密）确保分布式系统的安全性。初学者应从Kerberos和ACL入手，而高级用户可深入TLS加密和自定义RBAC策略。