首页 > 代码库 > Python 2.7_利用xpath语法爬取豆瓣图书top250信息_20170129
Python 2.7_利用xpath语法爬取豆瓣图书top250信息_20170129
大年初二,忙完家里一些事,顺带有人交流爬取豆瓣图书top250
1、构造urls列表 urls=[‘https://book.douban.com/top250?start={}‘.format(str(i) for i in range(0, 226, 25))]
2、模块 requests获取网页源代码 lxml 解析网页 xpath提取
3、提取信息
4、可以封装成函数 此处没有封装调用
python代码：
#coding:utf-8
import sys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
from lxml import etree
import requests
urls=[‘https://book.douban.com/top250?start={}‘.format(str(i) for i in range(0, 226, 25))]
for url in urls:
html=requests.get(url).content
selector=etree.HTML(html)
infos=selector.xpath(‘//tr[@class="item"]‘)
for info in infos:
book_name = info.xpath(‘td/div/a/@title‘)[0]
book_url = info.xpath(‘td/div/a/@href‘)[0]
published_infos = str(info.xpath(‘td/p/text()‘)[0])
splitlistinfos = published_infos.split(‘/‘)
#print splitlistinfos
published_date=str(splitlistinfos[-2])
#print published_date
price = str(splitlistinfos[-1])
#print price
rate = info.xpath(‘td/div/span[2]/text()‘)[0]
# comment_nums = info.xpath(‘td/div/span[3]/text()‘)[0]
# print comment_nums
comment_nums = info.xpath(‘td/div/span[3]/text()‘)[0].strip(‘(‘).strip().strip(‘)‘).strip().strip(‘人评价‘).strip() +‘人评价‘
introduceinfo = info.xpath(‘td/p/span/text()‘)
print book_name,book_url,published_date,price,rate,comment_nums,introduceinfo[0] if len(introduceinfo) > 0 else ‘‘
Python 2.7_利用xpath语法爬取豆瓣图书top250信息_20170129
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。