大数据+AI+云智算时代,“上云”已成为企业刚需,而华为云市场份额已冲进全球前五!本文介绍一下华为云的MRS服务
写在前面
首先交代一下背景。
大数据时代给各行各业带来了契机,同时也让人类面临了互联网时代以来的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。
针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。
一、什么是MRS
MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,可轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。提供Hudi、Doris、Spark、HBase、Flink、Clickhouse、Hadoop等开源大数据组件,支持湖仓一体、灵活的弹性控制能力。
目前全球累计共交付30万+节点、60+国家、3000+客户,最大单集群商用案例1万+节点,数据量超500PB。单集群可支持2.1万个节点,集群联邦可无限扩展
华为云MRS官网:https://www.huaweicloud.com/product/mrs.html
OBS文档:https://support.huaweicloud.com/mrs/index.html
二、MRS五种集群
1、Hadoop集群
采用Spark实现海量数据的分析查询,采用Hive实现TB/PB级的数据分析。
2、Doris集群
采用Doris实现实时数据分析,使数据分析工作更加简单高效。
3、ClickHouse集群
采用ClickHouse实现海量数据的实时查询分析,加速数据价值的展现。
4、Hbase集群
采用HBase实现海量数据存储,并实现毫秒级数据查询。
5、StarRocks集群
采用StarRocks组件使用向量化、MPP架构、CBO、智能物化视图等技术实现多维、实时、高并发的数据分析。
三、应用场景
MRS应用场景介绍