RDD: Resilient Distributed Dataset

RDD的特点
1、A list of partitions  
    一系列的分片:比如说64M一片;类似于Hadoop中的split;
 
2、A function for computing each split
    在每个分片上都有一个函数去迭代/执行/计算它
 
3、A list of dependencies on other RDDs
    一系列的依赖:RDDa转换为RDDb,RDDb转换为RDDc,那么RDDc就依赖于RDDb,RDDb就依赖于RDDa
 
4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned) 
    对于key-value的RDD可指定一个partitioner,告诉它如何分片;常用的有hash,range
 
5、Optionally, a list of preferred location(s) to compute each split on (e.g. block locations for an HDFS file)
    要运行的计算/执行最好在哪(几)个机器上运行。数据本地性。
  为什么会有哪几个呢?
  比如:hadoop默认有三个位置,或者spark cache到内存是可能通过StorageLevel设置了多个副本,所以一个partition可能返回多个最佳位置。
 
前三个特点对应于Lineage,后两个对应于Optimized execution
 
对于如上的5个特点,对应于RDD中的5个方法
getPartitionsthe set of partitions in this RDD
computecompute a given partition
getDependenciesreturn how this RDD depends on parent RDDs
partitionerspecify how they are partitioned
getPreferredLocationsspecify placement preferences
 
 
 
 
 
 
 
 HadoopRDDFiltered RDDJoinedRDD
partitionsHDFS上的block与父RDD一致一个partition一个任务
dependencies与父RDD 一对一依赖shuffle的每个父RDD
compute读取每个block的信息计算父RDD的每个分区并过滤读取shuffle数据      
partitionerHDFS block所在位置HashPartitioner
preferredLocations无(与父RDD一致)
 
 
 
 
 
 
 
05-06 18:31