首页 > 代码库 > RDD操作

RDD操作

2024-09-08 11:07:48   218人阅读

RDD操作

RDD操作

1.对一个数据为{1，2，3，3}的RDD进行基本的RDD转化操作

函数名 目的 示例 结果

map()

 函数应用于RDD中的每个元素 rdd.map(x=>x+1) {2,3,4,4}
flatMap() 将函数应用于RDD中的每个怨毒，通常用来切分单词 rdd.flatMap(x=>x.to(3)) {1,2,3,2,3,3,3}
filter() 返回一个通过传给filter()的函数的元素组成的RDD rdd.filter(x=>x!=1) {2,3,3}
distinct() 去重 rdd.distinct()

{1,2,3}
sample(withReplacement,fraction,[seed]) 对RDD进行采样，以及是否替换 rdd.sample(false,0.5) 非确定

2.对数据分别为{1，2，3}和{3，4，5}的RDD进行针对两个RDD的转化操作

函数名 目的 示例 结果
union() 生成一个包含两个RDD中所有元素的RDD rdd.union(other) {1,2,3,3,4,5}
intersection() 求两个RDD共同的元素RDD rdd.intersection(other) {3}
subtract() 移除一个元素的内容 rdd.subtract(other) {1,2}
cartesian() 与另一个RDD的笛卡儿积 rdd.cartesian(other) {(1,3),(1,4)...(3,5)}

3.对一个数据为{1，2，3，3}的RDD进行基本的RDD行动操作

函数名 目的 示例 结果
collect() 所有元素 rdd.collect() {1,2,3,3}
count() 元素个数 rdd.count() 4
countByValue() 各元素在rdd中出现的次数 rdd.countByValue() {(1,1),(2,1),(3,2)}
take(num) 从rdd中返回num个元素 rdd.take(2) {1,2}
top(num) 从rdd中返回最前面的num个元素 rdd.top(2) {3,3}
takeOrdered(num)(ordering) 按提供的顺序，返回最前面的怒骂个元素 rdd.takeOrdered(2)(myOrdering) {3,3}
takeSample(withReplacement,num,[seed]) 从rdd中返回任意一些元素 rdd.takeSample(false,1) 非确定的
reduce(func) 冰雷整合RDD中的所有数据 rdd.reduce((x,y)=>x+y) 9
fold(zero)(func) 和reduce一样，但是需要初始值 rdd.fold(0)((x,y)=>x+y) 9
aggregate(zeroValue)(seqOp,combOp) 和reduce()相似，但是通常返回不同类型的函数

rdd.aggregate((0,0))((x,y)=>(x,y)=>(x._1+y,x._2+1),(x,y)=>(x._1+y._1,x._2+y._2))

 (9,4)
foreach(func) 对RDd中的每个元素使用给定的元素 rdd.foreach(func) 无

键值对操作

4.pair RDD的转化操作(以键值对集合{(1,2),(3,4),(3,6)}为例)

函数名 目的 示例 结果
reduceByKey(func) 合并具有相同键的值 rdd.reduceByKey((x,y)=>x+y) {(1,2),(3,10)}
groupByKey() 对具有相同键的值进行分组 rdd.groupByKey() {(1,[2]),(3,[4,6])}
combineByKey(createCombiner,mergeCombiners,partitioner) 使用不同的返回类型合并具有相同键的值    
mapValue(func) 对pairRDD中的每个值应用一个函数而不改变键 rdd.mapValues(x=>x+1) {(1,3),(3,5),(3,7)}
flatMapValues() 对pairRDD中的每个值应用一个返回迭代器的函数，然后返回的每个元素都生成一个对应原键的键值对记录，通常用于符号化 rdd.flatMapValues(x=>(x to 5)) {(1,2),(1,3),(1,4),(1,5),(3,4),(3,5)}
keys() 返回一个仅包含键的RDD rdd.keys() {1,3,3}
values() 返回一个仅包含值的RDD rdd.values() {2,4,6}
sortByKey() 返回一个根据键排序的RDD rdd.sortByKey() {(1,2),(3,4),(3,6)}

针对两个pairRDD的转换操作(rdd={(1,2),(3,4),(3,6)} other={(3,9)})

函数名 目的 示例 结果
subtractByKey 删掉RDD中的键与otherRDD中的键相同的元素 rdd.subtractByKey(other) {(1,2)}
join 对两个rdd进行内链接 rdd.join(other) {(3,(Some(4),9)),(3,(Some(6),9))}
rightOuterJoin 连接操作，确保第一个rdd的键必须存在(右外连接) rdd.rightOuterJoin(other) {(3,(4,Some(9))),(3,(4,Some(9)))}
leftOutrtJoin 连接操作，确保第二个rdd的键必须存在(左外连接) rdd.leftOuterJoin(other) {(1,(2,None)),(3,(4,Some(9))),(3,(6,Some(9)))}
cogroup 将两个rdd中拥有相同键的数据分组到一起 rdd.cogroup(other) {(1,([2],[])),(3,([4,6],[9]))}

5.PairRDD 的行动操作（以键值对集合{(1,2),(3,4),(3,6)}）

函数 描述 示例 结果
countByKey() 对每个键对应的元素分别计数 rdd.countByKey() {(1,1),(3,2)}
collectAsMap() 将结果以映射表的形式返回，以便查询 rdd.collectAsMap() Mqp{(1,2),(3,4),(3,6)}
lookup(key) 返回给定键对应的所有值 rdd.lookup(3) [4,6]

RDD操作


联系
我们