首页 > 代码库 > spark1.1.0 snappy依赖高版本gcc
spark1.1.0 snappy依赖高版本gcc
最近更新了spark到1.1.0版本。跑任务出错。
Caused by: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.0.5.3-6ceb7982-8940-431c-95a8-25b3684fa0be-libsnappyjava.so: /usr/lib64
/libstdc++.so.6: version `GLIBCXX_3.4.9‘ not found (required by /tmp/snappy-1.0.5.3
由于我们的系统是rhel5,glibc版本只到3.4.8,而snappy需要使用3.4.9版本,坑爹。
spark1.0.0没有出现过这个问题,为了减少系统改动,重新编译了spark,并将pom.xml 的snappy版本(1.5.3)手动修改成spark1.0.0中的1.5.0版本。但是问题还是没能解决。
最终只能编译了更高版本的gcc,我用的gcc4.7.3,并将环境变量LD_LIBRARY_PATH指定新版gcc安装路径, 问题解决。
gcc编译时依赖的库:
../configure --prefix=/usr/local/gcc-4.7.3 --enable-threads=posix --disable-bootstrap --disable-multilib --enable-languages=c ,c++,java --with-gmp=/usr/local/gmp-6.0.0/ --with-mpfr=/usr/local/mpfr-3.1.2/ --with-mpc=/usr/local/mpc-1.0.2/
ps:网上那些直接找个库做软连接的方法不用试了,太不靠谱。
spark1.1.0 snappy依赖高版本gcc
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。