Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。下面就带大家来学习今天的内容!
往期内容:
- Spark基础入门-第一章:Spark 框架概述
- Spark基础入门-第二章:Spark环境搭建-Local
- Spark基础入门-第三章:Spark环境搭建-StandAlone
- Spark基础入门-第四章:Spark环境搭建-StandAlone-HA
- Spark基础入门-第五章:环境搭建-Spark on YARN
- Spark基础入门-第六章:PySpark库
- Spark基础入门-第七章:本机开发环境搭建
- Spark基础入门-第八章:分布式代码执行分析
一、为什么需要RDD?
分布式计算需要:
- • 分区控制
- • Shuffle控制
- • 数据存储\序列化\发送
- • 数据计算API
- • 等一系列功能
这些功能, 不能简单的通过Python内置的本地集合对象(如 List\ 字典等)去完成.我们在分布式框架中, 需要有一个统一的数据抽象对象, 来实现上述分布式计算所需功能.
这个抽象对象, 就是RDD
Spark起源
在Spark开山之作Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster
Computing这篇paper中(以下简称 RDD Paper), Matei等人提出了RDD这种数据结构,文中开头对RDD的定义 是:
二、RDD定义
RDD (Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变、可 分区、里面的元素可并行计算的集合。
- Dataset:一个数据集合,用于存放数据的。
- Distributed: RDD中的数据是分布式存储的,可用于分布式计算。
- Resilient: RDD中的数据可以存储在内存中或者磁盘中。
RDD (Resilient Distributed Dataset)弹性分布式数据集, 是Spark中最基本的数据抽象,代表一个不可变、可分区、里 面的元素可并行计算的集合。
所有的运算以及操作都建立在 RDD 数据结构的基础之上。
可以认为RDD是分布式的列表List或数组Array, 抽象的数据结构, RDD是一个抽象类Abstract Class和泛型Generic Type。
三、RDD的五大特性
- RDD 数据结构内部有五个特性(摘录RDD 源码):
- 前三个特征每个RDD都具备的,后两个特征可选的。
四、WordCount案例分析
本文含有隐藏内容,请 开通VIP 后查看