首页 > 代码库 > 基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
map/reduce是大数据处理的技术，它的思路是把大规模数据分成一个个小数据块，每个数据块由一个map任务来处理，处理的中间结果汇总到reduce,最后生成最终的处理结果，这个处理和汇总的过程是可以反复多次的，也就是map-reduce-map-reduce
基于map/reduce的思路，我们可以设计基于hadoop(map/reduce)的大规模分布式并行计算生产排程系统，怎么样把大数据处理变成大规模分布式并行计算呢，就是我们不切分数据，每个map任务的数据都是相同的，每个map任务对排程数据计算指定次数（比如1千次），然后将得到的最优结果汇总到reduce,reduce从这些中间的最优结果中选出最优结果，做为新的数据传递给map任务，开始下一轮的计算和汇总
由于hadoop是充分成熟的技术，能在数以千计的服务器或数千个cpu的数据处理系统上高效稳定的运行，完全支持云计算平台，基于hadoop下(map/reduce)技术设计大规模分布式并行计算生产排程系统或者其他类似的并行优化计算系统，将成为最佳的选择
map/reduce是大数据处理的技术，它的思路是把大规模数据分成一个个小数据块，每个数据块由一个map任务来处理，处理的中间结果汇总到reduce,最后生成最终的处理结果，这个处理和汇总的过程是可以反复多次的，也就是map-reduce-map-reduce
基于map/reduce的思路，我们可以设计基于hadoop(map/reduce)的大规模分布式并行计算生产排程系统，怎么样把大数据处理变成大规模分布式并行计算呢，就是我们不切分数据，每个map任务的数据都是相同的，每个map任务对排程数据计算指定次数（比如1千次），然后将得到的最优结果汇总到reduce,reduce从这些中间的最优结果中选出最优结果，做为新的数据传递给map任务，开始下一轮的计算和汇总
由于hadoop是充分成熟的技术，能在数以千计的服务器或数千个cpu的数据处理系统上高效稳定的运行，完全支持云计算平台，基于hadoop下(map/reduce)技术设计大规模分布式并行计算生产排程系统或者其他类似的并行优化计算系统，将成为最佳的选择
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。