编辑“︁Kafka”︁

{{Infobox software
| name = Apache Kafka
| logo = 
| screenshot = 
| caption = 
| developer = [[Apache软件基金会]]
| released = {{Start date and age|2011|01}}
| latest release version = 3.7.0
| latest release date = {{Release date and age|2024|02|27}}
| programming language = [[Scala]]、[[Java]]
| operating system = 跨平台
| genre = [[消息中间件]]、[[流处理平台]]
| license = [[Apache许可证 2.0]]
| website = {{URL|https://kafka.apache.org}}
}}

'''Apache Kafka'''是一个开源的分布式[[事件流处理平台]]，由[[LinkedIn]]开发并于2011年开源，现为[[Apache软件基金会]]顶级项目。它被设计用于高吞吐量、低延迟的实时数据管道和流应用程序。

== 核心概念 ==

=== 架构概述 ===
Kafka采用分布式架构，主要包含以下组件：

* '''Broker'''：Kafka服务器节点，负责消息存储和转发
* '''Producer'''：消息生产者，向Kafka主题发布消息
* '''Consumer'''：消息消费者，从主题订阅消息
* '''Topic'''：消息类别/频道，生产者发布到特定主题，消费者订阅特定主题
* '''Partition'''：主题的分区，实现并行处理和水平扩展
* '''ZooKeeper'''：早期版本用于集群协调，3.0+版本开始逐步移除依赖

<mermaid>
graph TD
    P[Producer] -->|发布消息| B[Broker集群]
    B -->|存储消息| T[Topic/Partition]
    C[Consumer Group] -->|订阅消息| T
</mermaid>

=== 关键特性 ===
* '''高吞吐量'''：单机可支持每秒百万级消息
* '''持久化存储'''：消息可持久化到磁盘并配置保留策略
* '''水平扩展'''：通过增加节点轻松扩展集群
* '''容错性'''：数据多副本存储，自动故障转移
* '''流处理'''：提供Kafka Streams API进行实时处理

== 安装与配置 ==

=== 系统要求 ===
* [[Java]] 8或更高版本
* [[ZooKeeper]]（Kafka 3.0+可选）
* 推荐Linux生产环境

=== 快速启动 ===
<syntaxhighlight lang="bash">
# 下载并解压
wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgz
cd kafka_2.13-3.7.0

# 启动ZooKeeper（单节点开发模式）
bin/zookeeper-server-start.sh config/zookeeper.properties

# 启动Kafka服务器
bin/kafka-server-start.sh config/server.properties
</syntaxhighlight>

== 基本操作 ==

=== 创建主题 ===
<syntaxhighlight lang="bash">
# 创建名为"test"的主题，1个分区，1个副本
bin/kafka-topics.sh --create --topic test \
                    --bootstrap-server localhost:9092 \
                    --partitions 1 --replication-factor 1
</syntaxhighlight>

=== 生产消息 ===
<syntaxhighlight lang="bash">
# 启动控制台生产者
bin/kafka-console-producer.sh --topic test \
                              --bootstrap-server localhost:9092
</syntaxhighlight>

=== 消费消息 ===
<syntaxhighlight lang="bash">
# 启动控制台消费者（从头开始消费）
bin/kafka-console-consumer.sh --topic test \
                              --bootstrap-server localhost:9092 \
                              --from-beginning
</syntaxhighlight>

== 高级特性 ==

=== 消息保证 ===
Kafka提供不同级别的消息可靠性保证：
* '''至少一次'''（At least once）：消息不丢失但可能重复
* '''至多一次'''（At most once）：消息可能丢失但不重复
* '''精确一次'''（Exactly once）：Kafka 0.11+版本支持

=== 流处理 ===
使用Kafka Streams API实现实时处理：
<syntaxhighlight lang="java">
StreamsBuilder builder = new StreamsBuilder();
KStream<String, String> source = builder.stream("input-topic");
source.mapValues(value -> value.toUpperCase())
      .to("output-topic");

KafkaStreams streams = new KafkaStreams(builder.build(), props);
streams.start();
</syntaxhighlight>

== 应用场景 ==

=== 典型用例 ===
* '''实时分析'''：用户行为跟踪、点击流分析
* '''日志聚合'''：集中收集应用日志
* '''事件溯源'''：记录系统状态变更历史
* '''消息队列'''：解耦生产者和消费者
* '''流处理'''：实时数据转换和计算

=== 企业集成 ===
Kafka常与以下系统集成：
* [[Elasticsearch]]：日志存储和搜索
* [[Spark]]：大数据处理
* [[Flink]]：流处理引擎
* [[Prometheus]]：监控指标收集

== 性能优化 ==

=== 配置建议 ===
* 调整`num.io.threads`（默认8）处理网络请求
* 合理设置`log.flush.interval.messages`控制刷盘频率
* 优化`replica.fetch.max.bytes`提高副本同步效率

=== 硬件建议 ===
* 使用SSD提高IO性能
* 配置多网卡实现网络隔离
* 为ZooKeeper分配独立资源

== 生态系统 ==

Kafka拥有丰富的生态系统工具：
* '''Kafka Connect'''：数据导入/导出连接器
* '''KSQL'''：基于SQL的流处理
* '''Schema Registry'''：管理Avro模式
* '''MirrorMaker'''：集群间数据复制

== 参见 ==
* [[RabbitMQ]]
* [[RocketMQ]]
* [[消息队列]]
* [[流处理]]

== 参考资料 ==
* {{cite web |url=https://kafka.apache.org/documentation/ |title=Apache Kafka官方文档}}
* {{cite book |title=Kafka权威指南 |author=Neha Narkhede等 |year=2017 |publisher=O'Reilly}}

[[Category:消息中间件]]
[[Category:分布式系统]]
[[Category:Apache软件基金会项目]]
[[Category:流处理平台]]