首页 > 代码库 > python 爬虫(七)问题

python 爬虫(七)问题

1. 在使用scrapy编写爬虫的时候遇到这样的错误

技术分享

解决方法:

在setting.py中添加:

USER_AGENT = ‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0‘

但是我添加

User_Agent = ‘Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:51.0) Gecko/20100101 Firefox/51.0‘ 没有解决问题。
原因:还未知

python 爬虫(七)问题