编辑“︁Apache Hadoop加密传输”︁

= Hadoop加密传输 =

'''Hadoop加密传输'''是Hadoop安全机制的核心组成部分，旨在保护数据在节点间传输时的机密性和完整性。通过加密技术，Hadoop可以防止数据在传输过程中被窃听或篡改，适用于敏感数据的处理场景（如金融、医疗等领域）。

== 加密传输的基本原理 ==
Hadoop加密传输主要依赖以下协议和技术：
* '''TLS/SSL'''：用于加密客户端与Hadoop服务（如HDFS、YARN）之间的通信。
* '''SASL（Simple Authentication and Security Layer）'''：提供身份验证和数据加密支持。
* '''Kerberos'''：与加密传输结合，实现强身份认证。

加密过程分为两个层面：
# '''传输层加密'''（如HDFS数据传输端口）
# '''RPC加密'''（如NameNode与DataNode间的通信）

=== 数学基础 ===
加密算法通常基于非对称加密（如RSA）和对称加密（如AES）。例如，TLS握手阶段使用RSA交换密钥，后续通信使用AES加密数据：
<math>
E_{AES}(data, key) \rightarrow ciphertext
</math>

== 配置Hadoop加密传输 ==
以下示例展示如何为HDFS启用加密传输。

=== 1. 配置core-site.xml ===
启用RPC加密：
<syntaxhighlight lang="xml">
<property>
  <name>hadoop.rpc.protection</name>
  <value>privacy</value> <!-- 可选：authentication|integrity|privacy -->
</property>
</syntaxhighlight>

=== 2. 配置hdfs-site.xml ===
启用数据传输加密：
<syntaxhighlight lang="xml">
<property>
  <name>dfs.encrypt.data.transfer</name>
  <value>true</value>
</property>
<property>
  <name>dfs.encrypt.data.transfer.algorithm</name>
  <value>3des</value> <!-- 或 AES/CTR/NoPadding -->
</property>
</syntaxhighlight>

== 代码示例：加密文件传输 ==
以下Java代码演示如何通过加密通道读写HDFS文件：

<syntaxhighlight lang="java">
Configuration conf = new Configuration();
conf.set("dfs.encrypt.data.transfer", "true");
FileSystem fs = FileSystem.get(conf);

// 写入加密文件
Path encryptedFile = new Path("/secure/data.enc");
try (FSDataOutputStream out = fs.create(encryptedFile)) {
    out.writeUTF("Sensitive data"); // 自动加密传输
}

// 读取加密文件
try (FSDataInputStream in = fs.open(encryptedFile)) {
    String content = in.readUTF(); // 自动解密
    System.out.println(content); // 输出: Sensitive data
}
</syntaxhighlight>

== 实际应用场景 ==
'''案例：医疗数据保护'''
某医院使用Hadoop处理患者记录，配置要求：
* 所有节点间传输的MRI图像必须加密
* 医生终端与集群的通信使用TLS 1.2+
* 审计日志记录所有数据访问

配置效果：
<mermaid>
sequenceDiagram
    participant Doctor as 医生终端
    participant NN as NameNode
    participant DN as DataNode
    Doctor->>NN: TLS加密请求(HTTPS)
    NN->>DN: SASL加密指令
    DN-->>Doctor: 加密的MRI数据流(AES-256)
</mermaid>

== 性能考量 ==
加密传输会带来约10-15%的性能开销，主要来自：
* 加密/解密计算
* 增加的网络数据包大小（如TLS头信息）

优化建议：
* 使用硬件加速（如Intel AES-NI指令集）
* 对非敏感数据禁用加密（通过路径策略）

== 高级配置 ==
对于企业级部署，可配置证书和密钥库：
<syntaxhighlight lang="bash">
# 生成Keystore
keytool -genkeypair -alias hadoop -keyalg RSA \
  -keystore /etc/hadoop/conf/keystore.jks

# 配置ssl-server.xml
<property>
  <name>ssl.server.keystore.location</name>
  <value>/etc/hadoop/conf/keystore.jks</value>
</property>
</syntaxhighlight>

== 常见问题 ==
'''Q：加密传输是否影响Hadoop的兼容性？'''
A：只要所有节点使用相同配置，不会影响兼容性。但混合加密/非加密集群需要特别注意防火墙规则。

'''Q：如何验证加密是否生效？'''
A：使用网络嗅探工具（如Wireshark）检查数据包内容应为乱码。

== 延伸阅读 ==
* [[Hadoop Kerberos认证]]
* [[HDFS透明加密]]
* [[YARN安全容器]]

{{Hadoop安全机制导航}}

[[Category:大数据框架]]
[[Category:Apache Hadoop]]
[[Category:Apache Hadoop安全机制]]