首页 > 代码库 > 初次接触scrapy框架
初次接触scrapy框架
初次接触这个框架，先订个小目标，抓取QQ首页，然后存入记事本。
安装框架（http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html）
创建一个项目，项目根目录输入
scrapy startproject tutorial
在spiders文件夹下面新建一个qq_spider.py,写入内容如下：
import scrapy class DmozSpider(scrapy.Spider): name = "dmoz" allowed_domains = ["qq.com"] start_urls = [ "http://www.qq.com/" ] def parse(self, response): filename = response.url.split("/")[-2] with open(filename + ".txt", ‘wb‘) as f: f.write(response.body)
项目根目录输入命令：
scrapy crawl dmoz
抓取到的QQ首页的页面：
初次接触scrapy框架
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。