首页 > 代码库 > Scrapyd部署

Scrapyd部署

从github(https://github.com/scrapy/scrapyd)下载安装包
放到D:\python\Lib\site-packages\

解压压缩包:cd 到解压目录

python setup.py install

 

执行命令:Scrapyd;如下证明安装成功

技术分享

 在项目中找到scrapy.cfg文件,编辑如下:

技术分享

在scrapy.cfg所在目录中执行命令:

scrapyd-deploy Myploy -p Test #在scrapy.cfg文件有配置


报错:‘scrapyd-deploy‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。

在windows上使用scrapyd-client

安装后,并不能使用相应的命令‘scrapyd-deploy‘

需要在"C:\Python27\Scripts" 目录下 增加scrapyd-deploy.bat文件

内容填充为:

@echo off

"C:\python27\python.exe" "C:\python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

 

在scrapy.cfg所在目录中重新执行命令:

scrapyd-deploy Myploy -p Test #在scrapy.cfg文件有配置

技术分享

 

现在只是将项目发布到目标地址,但是没有调度爬虫,调度爬虫需要用到curl命令,如下:
spd是自定义的:
技术分享

curl http://localhost:6800/schedule.json -d project=testscrapy -d spider=spd



如果window下没有安装crul工具包,会
报错:curl 不是内部或外部命令,也不是可运行的程序 或批处理文件。

下载:http://curl.haxx.se/download.html;找到系统对应的版本;下载到本地并解压,找到curl.exe 所在路径配置到系统环境变量中;

再次输入:

curl http://localhost:6800/schedule.json -d project=testscrapy -d spider=spd

 

技术分享

 

技术分享

 








参考:
http://www.jianshu.com/p/694a56b2199a

http://blog.wiseturtles.com/posts/scrapyd.html

http://blog.csdn.net/xxwang6276/article/details/45745181



 


Scrapyd部署