Starrocks架构及如何选择

发布于:2025-03-29 ⋅ 阅读:(24) ⋅ 点赞:(0)

目录

存算一体架构

特点

适用场景

存算分离架构

特点

适用场景

架构选择建议


       StarRocks 介绍:极速全场景 MPP数据库starrocks介绍-CSDN博客

       StarRocks 架构简洁明了,整个系统仅由两种组件组成:前端和后端。前端节点称为 FE。后端节点有两种类型,BE 和 CN (计算节点)。当使用本地存储数据时,您需要部署 BE;当数据存储在对象存储或 HDFS 时,需要部署 CN。

       StarRocks 支持存算一体和存算分离两种架构,以下是介绍及选择建议。

存算一体架构

特点

节点组成:由 FE(前端节点)和 BE(后端节点)组成。FE 负责元数据管理、客户端连接管理、查询规划和调度;BE 负责数据存储和 SQL 执行。

数据存储:BE 节点使用本地存储,数据通过多副本机制存储在不同的 BE 节点中,以保证高可用性和数据可靠性。

查询性能:数据存储和计算都在 BE 节点本地完成,避免了数据传输和复制的延迟,提供了极快的查询和分析性能。

扩展性:节点可以在线水平扩展,但扩展性相对存算分离架构受限。

适用场景

适用于对查询性能要求极高,且数据量相对较小的场景,如实时数据仓库、高并发查询等。


存算分离架构

特点

节点组成:由 FE 和 CN(计算节点)组成。FE 的功能与存算一体架构中的相同,CN 节点负责数据计算任务和缓存热数据。

数据存储:数据存储在远端的低成本、高可靠对象存储(如 Amazon S3、GCP、Azure Blob Storage、MinIO 等)或 HDFS 上。

查询性能:CN 节点的本地磁盘用于缓存经常访问的热数据,当缓存命中时,查询性能可与存算一体架构相媲美。

扩展性:计算和存储资源可以独立扩展,支持动态添加或删除 CN 节点,实现秒级的扩缩容。

成本:降低了存储成本,因为数据存储在成本较低的对象存储或 HDFS 上。

适用场景

适用于数据量较大,需要灵活扩展存储和计算资源的场景,如数据湖分析、大规模数据分析等。


架构选择建议

性能优先:如果业务对查询性能要求极高,且数据量相对较小,存算一体架构可能是更好的选择,因为它能够提供更低的查询延迟。

成本和扩展性优先:如果数据量较大,需要灵活扩展存储和计算资源,或者希望降低存储成本,存算分离架构更具优势。

数据可靠性:两种架构都支持数据多副本存储,但在存算分离架构中,数据存储在远端存储系统中,可能在数据备份和恢复方面更具灵活性。

运维复杂度:存算一体架构相对简单,适合对运维要求不高的场景;存算分离架构由于涉及远端存储配置,可能需要更多的运维工作。