编辑“︁Apache Hadoop与Google Cloud集成”︁（章节）

== 部署方式 ==

Hadoop在Google Cloud上的部署主要有以下两种方式：

=== 1. 使用Google Compute Engine手动部署 ===

用户可以在GCE上手动创建虚拟机实例并安装Hadoop。以下是基本步骤：

1. 在GCP控制台中创建多个虚拟机实例（例如，一个主节点和多个工作节点）。
2. 配置SSH密钥以访问这些实例。
3. 在每个节点上安装Java和Hadoop。
4. 配置Hadoop的核心文件（如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`）。
5. 启动Hadoop集群。

以下是一个简单的`core-site.xml`配置示例：
<syntaxhighlight lang="xml">
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://<主节点IP>:9000</value>
  </property>
</configuration>
</syntaxhighlight>

=== 2. 使用Google Dataproc自动部署 ===

Dataproc是GCP提供的托管服务，可快速创建和管理Hadoop集群。以下是使用Dataproc的步骤：

1. 在GCP控制台或使用`gcloud`命令行工具创建Dataproc集群：
<syntaxhighlight lang="bash">
gcloud dataproc clusters create my-hadoop-cluster \
  --region=us-central1 \
  --num-workers=2 \
  --worker-machine-type=n1-standard-4
</syntaxhighlight>
2. 提交作业到集群：
<syntaxhighlight lang="bash">
gcloud dataproc jobs submit hadoop \
  --cluster=my-hadoop-cluster \
  --jar=my-job.jar \
  -- arg1 arg2
</syntaxhighlight>