首页 > 代码库 > 解决爬虫中文乱码问题
解决爬虫中文乱码问题
今天群里有个人反映某个网址爬出来的网页源代码出现中文乱码，我研究了半天，终于找到了解决方法。
一开始，我是这样做的：
import requests
url = ‘http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=090200%2C00&funtype=0000&industrytype=00&keyword=python&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9‘
print requests.get(url).content
这样做，如果用命令行去运行，得到的内容中文显示正常，但如果用pycharm运行得到的确实乱码。
这个问题我一时半会还不知道是为什么，如果有人知道，请告诉我，谢谢！
后来，我在网上查阅资料，发现可以通过下面这种方式解决中文乱码问题：
首先，我们在浏览器中打开网址，通过查看源代码可以发现这个网址采用的编码是GBK：
然后我们通过下面这段代码发现通过requests获取的编码不是GBK，而是ISO-8859-1。
import requests
url = ‘http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=090200%2C00&funtype=0000&industrytype=00&keyword=python&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9‘
print requests.get(url).encoding
所以打印出来的就是乱码，我们需要将编码改为GBK才可以：
import requests
url = ‘http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=090200%2C00&funtype=0000&industrytype=00&keyword=python&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9‘
r = requests.get(url)
r.encoding = ‘GBK‘
print r.text
这样做，无论你是用pycharm还是命令行去运行，得到的都是正常的中文了。
解决爬虫中文乱码问题
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。