首页 > 代码库 > 在Spark中关于groupByKey与reduceByKey的区别
在Spark中关于groupByKey与reduceByKey的区别
1.groupByKey的源代码
2.groupByKey的使用缺点
不使用groupByKey的主要原因：在大规模的数据下，数据分布不均匀的情况下，可能导致OOM
3.reduceByKey的源代码
4.使用reduceByKey的youdian
使用reduceByKey函数的主要原因是：reduceByKey中存在combiner
在Spark中关于groupByKey与reduceByKey的区别
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。