首页 > 代码库 > 1024,节日快乐!找呀找呀找朋友(来自世纪佳缘的小偷爬虫程序)
1024,节日快乐!找呀找呀找朋友(来自世纪佳缘的小偷爬虫程序)
十月二十四日,1024,程序员的节日~ 祝大家 节日快乐了!
今晚别加班,下面给你吃!
不要委屈了自己,晚上回家吃顿好的把。
正文
一直都对爬虫,数据方面挺感兴趣的,也爬过很多数据。当然了,必须使用的是c#了~~
今天公布一个很早之前做的小偷程序。数据来自世纪佳缘。
Demo: find.izk.cloud
无图无真相
说明
我是直接在世纪佳缘的页面找到接口地址,然后构造相关参数,进行post请求,然后数据就出来了...就这样出来了!!!
像这种公开了接口,还没做任何限制的,简直是...不要太简单!
接口地址:http://search.jiayuan.com/v2/search_v2.php
可能需要注意就是参数的构造,贴个代码片段:
1 string postdata = http://www.mamicode.com/string.Format("sex={4}&key=&stc=1:{0},2:{1}.{2},23:1&sn=default&sv=1&p={3}&f=select&listStyle=bigPhoto&pri_uid=0&jsversion=v5", area, ages, agee, pageindex,sex);
地区,年龄段,分页,性别
因为是早期的项目了,Http请求最早用的别人封装好的一个HttpHelper。
1 HttpHelper http = new HttpHelper(); 2 HttpItem item = new HttpItem() 3 { 4 URL = "http://search.jiayuan.com/v2/search_v2.php",//URL 必需项 5 Method = "Post",//URL 可选项 默认为Get 6 Timeout = 100000,//连接超时时间 可选项默认为100000 7 ReadWriteTimeout = 30000,//写入Post数据超时时间 可选项默认为30000 8 IsToLower = false,//得到的HTML代码是否转成小写 可选项默认转小写 9 Cookie = "", 10 UserAgent = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36",//用户的浏览器类型,版本,操作系统 可选项有默认值 11 Accept = "text/html, application/xhtml+xml, */*",// 可选项有默认值 12 ContentType = "application/x-www-form-urlencoded; charset=UTF-8", 13 Postdata =http://www.mamicode.com/ postdata, 14 }; 15 HttpResult result = http.GetHtml(item); 16 string html = result.Html;
当然了,爬了那么多的数据,我也有一套自己封装的httphelper~~之后有时间也分享给大家。
目前,项目已托管在GitHub上,有需要的朋友可以拿去~
代码地址
1024,节日快乐!找呀找呀找朋友(来自世纪佳缘的小偷爬虫程序)
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。