首页 > 代码库 > Scrapyd部署
Scrapyd部署
从github(https://github.com/scrapy/scrapyd)下载安装包
放到D:\python\Lib\site-packages\
解压压缩包:cd 到解压目录
python setup.py install
执行命令:Scrapyd;如下证明安装成功
在项目中找到scrapy.cfg文件,编辑如下:
在scrapy.cfg所在目录中执行命令:
scrapyd-deploy Myploy -p Test #在scrapy.cfg文件有配置
报错:‘scrapyd-deploy‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。
在windows上使用scrapyd-client
安装后,并不能使用相应的命令‘scrapyd-deploy‘
需要在"C:\Python27\Scripts" 目录下 增加scrapyd-deploy.bat文件
内容填充为:
@echo off
"C:\python27\python.exe" "C:\python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
在scrapy.cfg所在目录中重新执行命令:
scrapyd-deploy Myploy -p Test #在scrapy.cfg文件有配置
现在只是将项目发布到目标地址,但是没有调度爬虫,调度爬虫需要用到curl命令,如下:
spd是自定义的:
curl http://localhost:6800/schedule.json -d project=testscrapy -d spider=spd
如果window下没有安装crul工具包,会
报错:curl 不是内部或外部命令,也不是可运行的程序 或批处理文件。
下载:http://curl.haxx.se/download.html;找到系统对应的版本;下载到本地并解压,找到curl.exe 所在路径配置到系统环境变量中;
再次输入:
curl http://localhost:6800/schedule.json -d project=testscrapy -d spider=spd
参考:
http://www.jianshu.com/p/694a56b2199a
http://blog.wiseturtles.com/posts/scrapyd.html
http://blog.csdn.net/xxwang6276/article/details/45745181
Scrapyd部署
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。