首页 > 代码库 > 爬取凤凰客户端的FUN段子
爬取凤凰客户端的FUN段子
比较喜欢凤凰新闻客户端的FUN系列文章,所以就写了Python程序来下载所有这么段子的地址。
下面程序只是下载第一页的所有文章的url,程序修改一下,就可以爬取所有的文章。
#!/usr/bin/python#-*-coding:utf-8 -*-import requestsimport jsonimport reheaders={"Host":‘i.ifeng.com‘, "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0", "Accept":"*/*", "Accept-Language":"zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3", "Content-Type":"application/x-www-form-urlencoded", "X-Requested-With":"XMLHttpRequest", "Referer":"http://i.ifeng.com/news/djch/fun/dir?vt=5&cid=17899&mid=64DflZ"}rsp=requests.get("http://i.ifeng.com/news/djch/fun/ajaxlist.php?p=1&cid=17899&htmltype=dir",timeout=5,headers=headers)html=rsp.json()pattern=re.compile(r‘aid=(.+?)&‘)aid_list=re.findall(pattern,str(html))for aid in aid_list: url="http://i.ifeng.com/news/djch/fun/news?vt=5&cid=0&aid=%s&mid=64DflZ&all=1&p=2"%aid print url
爬取凤凰客户端的FUN段子
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。