首页 > 代码库 > map函数或reduce函数中如何调用第三方jar包
map函数或reduce函数中如何调用第三方jar包
一般我们在mapreduce程序中调用第三方jar包时会出现找不到jar包的问题,检查发现jar包就在相应路径,mapreduce任务就是找不到。仔细想想会发现,这个jar包是放在执行mapreduce主程序机器上的内存中,一般为客户端机器。而我们在map或者reduce函数中调用该jar包时是在集群的机器上的内存中调用,这样怎么可以调用。可以使用以下方法:
1 把jar包提前放在集群每天机器上。
2 和集群调用mysql驱动程序一样,先将jar包放入hdfs,然后通过mysql的distributedcache将jar包分发到每台机器。
map函数或reduce函数中如何调用第三方jar包
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。