首页 > 代码库 > nutch+mysql gb2312网页源代码中文乱码
nutch+mysql gb2312网页源代码中文乱码
问题描述:
将nutch爬的网页源代码存在mysql中,网页编码为gb2312的网页中文乱码,其他编码暂未发现问题。因为nutch对爬下的网页源代码content不作任何处理,仅仅保存,而我的mysql编码设置的为utf-8,所以会显示乱码。
现在需要处理网页源代码,取出指定数据,那么java程序如何将gb2312中文乱码的网页源代码转化为非乱码。
解决:
其实采用ResultSet的getBytes方法即可。
public void getResoucePage() throws Exception{ String sql = "select * from webpage"; ResultSet rs = stmtSelect.executeQuery(sql); while(rs.next()){ byte[] pageByte = rs.getBytes("content"); String pageString = new String(pageByte, "gb2312"); getPageInfo(pageString); } rs.close(); stmtSelect.close(); conn.close(); }
说明:采用字节读取网页源代码,再指定编码为gb2312解码即可得到非乱码的网页源代码,剩下想怎么处理就怎么处理了。
(转载请注明,更多详见:http://blog.csdn.net/hwwn2009/article/details/41960043)
nutch+mysql gb2312网页源代码中文乱码
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。