Apache Pulsar、Apache Kafka 和 Apache RocketMQ 都是流行的分布式消息系统，它们在架构设计、功能特性和适用场景上各有不同。以下是 Pulsar 相较于 Kafka 和 RocketMQ 的主要区别：
1. 架构设计
- Pulsar：
- 分层架构：Pulsar 采用计算与存储分离的设计，Broker（计算层）负责消息的路由和处理，Apache BookKeeper（存储层）负责持久化存储。这种分离使得存储和计算可以独立扩展。
- 无状态 Broker：Broker 不存储数据，状态由 BookKeeper 维护，Broker 故障时可以快速替换。
- 多租户支持：原生支持多租户，通过命名空间（Namespace）实现租户隔离。
- Kafka：
- 单体架构：Kafka 将计算和存储耦合在 Broker 中，每个 Broker 既负责消息处理，也存储分区日志数据。
- 有状态 Broker：Broker 存储分区数据，扩展或故障恢复需要数据同步，增加了复杂性。
- 多租户支持有限：Kafka 的多租户功能较弱，通常需要额外的配置或外部工具实现。
- RocketMQ：
- 队列模型：RocketMQ 基于分布式队列模型，消息按主题分队列存储，支持并行处理。
- Broker 存储：类似 Kafka，Broker 负责存储和处理，但 RocketMQ 的设计更偏向低延迟和高可靠性。
- 无原生多租户：RocketMQ 的多租户支持不如 Pulsar 强大，更多依赖外部管理。
区别总结：Pulsar 的分层架构提供了更高的灵活性和扩展性，而 Kafka 和 RocketMQ 的单体架构更简单但扩展性受限。
2. 零拷贝技术
- Pulsar：
- 使用 mmap（内存映射）结合 write，通过 MappedByteBuffer 将文件映射到内存，用户态直接操作数据，适合小块数据的高效读写。
- 存储层（BookKeeper）优化了流式存储的缓存管理。
- Kafka：
- 使用 sendfile 系统调用，通过 FileChannel.transferTo() 实现从磁盘到网络的零拷贝，适合大文件高吞吐量传输。
- 索引文件使用 mmap，数据文件使用 sendfile。
- RocketMQ：
- 同样使用 mmap + write，通过内存映射实现零拷贝，强调低延迟和高可靠性。
- 支持堆外内存池（Transient Store Pool）优化性能。
区别总结：Pulsar 和 RocketMQ 更倾向于 mmap 的灵活性，Kafka 的 sendfile 在大吞吐量场景下更高效。
3. 消息模型
- Pulsar：
- 发布-订阅（Pub-Sub）+队列：支持多种订阅模式（独占、共享、故障转移），同时支持流式处理和传统队列。
- Reader 接口：提供灵活的消息读取方式，可跳跃读取特定消息。
- Kafka：
- 发布-订阅（Pub-Sub）：基于拉取模型（Pull），消费者通过偏移量（Offset）控制消息读取。
- 严格顺序：分区内保证消息顺序。
- RocketMQ：
- 发布-订阅 + 队列：基于拉取模型，支持主题和队列的混合使用，强调批处理和低延迟。
- 事务消息：原生支持分布式事务消息。
区别总结：Pulsar 提供更灵活的消费模型，Kafka 强调高吞吐量的流式处理，RocketMQ 在事务支持上更强。
4. 存储与扩展性
- Pulsar：
- 分段存储：日志被拆分为小段，分布在多个 BookKeeper 节点上，避免单点瓶颈。
- 无限存储：支持分层存储（Tiered Storage），可将老数据卸载到 S3 等廉价存储。
- 弹性扩展：存储和计算独立扩展，新增 Broker 或 Bookie 即可。
- Kafka：
- 分区日志：每个分区日志存储在 Broker 的本地磁盘上，容量受限。
- 有限存储：依赖日志清理策略（时间或大小），分层存储需额外实现（如 Confluent 的 Tiered Storage）。
- 扩展复杂：新增 Broker 需要分区重平衡。
- RocketMQ：
- 队列存储：消息按队列存储在 Broker，容量受磁盘限制。
- 有限存储：依赖清理策略，无原生分层存储。
- 扩展中等：支持动态扩展，但不如 Pulsar 灵活。
区别总结：Pulsar 的分段和分层存储使其在扩展性和数据保留上优于 Kafka 和 RocketMQ。
5. 性能与延迟
- Pulsar：
- 低延迟：分层架构和 mmap 优化使其在小消息场景下表现良好。
- 高吞吐量：通过 BookKeeper 的分布式存储支持高吞吐量，但整体吞吐量略低于 Kafka。
- Kafka：
- 高吞吐量：sendfile 和批量处理使其在大数据量场景下吞吐量最高。
- 中等延迟：拉取模型和批量优化可能增加少量延迟。
- RocketMQ：
- 低延迟：mmap 和队列模型优化了小消息的处理延迟。
- 中等吞吐量：吞吐量介于 Kafka 和 Pulsar 之间。
区别总结：Kafka 吞吐量最高，Pulsar 和 RocketMQ 在低延迟上有优势。
6. 生态系统与社区
- Pulsar：
- 生态较新：提供 Pulsar IO 和 Pulsar Functions，支持多种连接器和简单流处理。
- 社区活跃：发展迅速，但规模小于 Kafka。
- Kafka：
- 生态丰富：拥有 Kafka Connect、Kafka Streams 和 ksqlDB，集成广泛。
- 社区强大：用户基础庞大，文档和支持资源丰富。
- RocketMQ：
- 生态中等：支持多种语言客户端和连接器，但不如 Kafka 丰富。
- 社区较小：主要由阿里巴巴推动，国际影响力有限。
区别总结：Kafka 生态最成熟，Pulsar 发展迅速，RocketMQ 生态较专注。
7. 适用场景
- Pulsar：
- 多租户场景（如云原生应用）。
- 需要长期存储和弹性扩展的场景。
- 混合消息和流处理的用例。
- Kafka：
- 高吞吐量的日志收集和流式处理（如大数据分析）。
- 实时数据管道。
- RocketMQ：
- 低延迟的业务消息处理（如电商交易）。
- 需要事务支持的场景。
总结表
| 特性 | Pulsar | Kafka | RocketMQ |
|---|---|---|---|
| 架构 | 分层（计算存储分离） | 单体（Broker 存储） | 单体（队列模型） |
| 零拷贝 | mmap + write | sendfile | mmap + write |
| 消息模型 | Pub-Sub + 队列 | Pub-Sub（拉取） | Pub-Sub + 队列 |
| 存储 | 分段 + 分层存储 | 分区日志 | 队列存储 |
| 扩展性 | 高（独立扩展） | 中（需重平衡） | 中 |
| 性能 | 低延迟 + 高吞吐量 | 高吞吐量 + 中等延迟 | 低延迟 + 中等吞吐量 |
| 生态 | 新兴但发展快 | 丰富且成熟 | 中等 |
结论
- Pulsar 适合需要多租户、弹性扩展和长期存储的现代云原生应用。
- Kafka 是高吞吐量流式处理的首选，生态成熟，适合大数据场景。
- RocketMQ 在低延迟和事务消息上有优势，适合业务驱动的场景。