在用抓取头条新闻的数据时出现以下问题：禁止抓取，结果数据没有出来

 　　后来经过查询得知需要把settings.py里面 修改为ROBOTSTXT_OBEY = False就可以了， 默认True

scrapy 抓取数据被禁止的解决方法