《通信数据分析与实战》课件——第三章 Spark RDD.pptx

通信数据分析与实战SparkRDD第三章第1节

2知道RDD的作用理解RDD的五大特征学习目标TARGET

RDD的概述传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。Spark中的RDD可以很好的解决这一缺点。RDD（ResilientDistributedDataset），即弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，若是后面需要中间结果参与计算时，则可以直接从内存中读取，从而可以极大地提高计算速度。RDD是Spark提供的最重要的抽象概念，我们可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避免了中间结果的I/O操作，提高数据处理的速度和性能。

RDD的五大特征分区列表计算函数依赖其他RDDKV类型分区器优先位置列表

RDD的五大特征分区列表每个RDD被分为多个分区（Partitions），这些分区运行在集群中的不同节点，每个分区都会被一个计算任务处理，分区数决定了并行计算的数量，创建RDD时可以指定RDD分区的个数。如果不指定分区数量，当RDD从集合创建时，默认分区数量为该程序所分配到的资源的CPU核数（每个Core可以承载2~4个Partition），如果是从HDFS文件创建，默认为文件的Block数。

RDD的五大特征每个分区都有一个计算函数Spark的RDD的计算函数是以分片为基本单位的，每个RDD都会实现compute函数，对具体的分片进行计算。

RDD的五大特征依赖于其他RDDRDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。

RDD的五大特征K-V数据类型的RDD分区器当前Spark中实现了两种类型的分区函数，一个是基于哈希的HashPartitioner，另外一个是基于范围的RangePartitioner。只有对于（Key，Value）的RDD，才会有Partitioner（分区），非（Key，Value）的RDD的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分区数量，也决定了parentRDDShuffle输出时的分区数量。

RDD的五大特征每个分区都有一个优先位置列表优先位置列表会存储每个Partition的优先位置，对于一个HDFS文件来说，就是每个Partition块的位置。按照“移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。

10小结知道RDD的作用理解RDD的五大特征

通信数据分析与实战SparkRDD第三章第2节

12掌握从本地系统创建RDD掌握并行集合创建RDD学习目标TARGET

RDD的创建方式从本地-HDFS文件系统加载数据创建通过并行集合创建RDD

从文件系统加载数据创建RDDSpark可以从Hadoop支持的任何存储源中加载数据去创建RDD，包括本地文件系统和HDFS等文件系统。我们通过Spark中的SparkContext对象调用textFile()方法加载数据创建RDD。scalavaltest=sc.textFile(file:///export/data/test.txt)test:org.apache.spark.rdd.RDD[String]=file:///export/data/test.txtMapPartitionsRDD[1]attextFileatconsole:241、从本地文件中加载数据创建RDD

从文件系统加载数据创建RDDscalavaltestRDD=sc.textFile(/data/test.txt)testRDD:org.apache.spark.rdd.RDD[String]=/data/test.txtMapPartitionsRDD[1]attextFileatconsole:242、从HDFS中加载数据创建RDD

通过并行集合创建RDDscalavalarray=Array(1,2,3,4,5)array:Array[Int]=Array(1,2,3,4,5)scalavalarrRDD=sc.parall