首页 > 代码库 > 抓取网页时,乱码问题
抓取网页时,乱码问题
1 def get_content(): 2 user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36" 3 headers = { ‘User-Agent‘ : user_agent } 4 url = "http://bj.58.com/" 5 req = urllib2.Request(url, headers = headers) 6 response = urllib2.urlopen(req) 7 the_page = response.read() 8 type = sys.getfilesystemencoding() 9 the_page = the_page.decode("UTF-8").encode(type) 10 print the_page
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。