首页 > 代码库 > Premature EOF from inputStream错误的不同原因
Premature EOF from inputStream错误的不同原因
今天例行的任务报Premature EOF from inputStream的错误(具体log被刷屏刷掉了)。根据这个关键信息去网上搜了下,有说lzo压缩指定方式不对的MapReduce使用lzo压缩注意,也有说节点或者通信出问题,或者文件操作超租期,实际上就是data stream操作过程中文件被删掉了,后者的意思在后知后觉下其实已经比较接近我遇到的情况了。
因此,我先检查了集群的节点,都是正常;而lzo的能性也因为最近没有对任务做更新也就排除了。
最后一个偶然去检查了下存储的数据,发现有一个lzo文件size是0,检查其它天的文件没有这样的情况,直觉告诉我问题就出在这儿。问了同事也发现昨天有个机子日志打满,导致产出的lzo文件也为0,于是更加确定是这个问题。
0size的文件现在已经移除也补上了正常的数据。如果不是这个原因,我待会儿再来吐槽。
Premature EOF from inputStream错误的不同原因
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。