首页 > 代码库 > xpath爬顶点页面信息
xpath爬顶点页面信息
# encoding:utf8
import requests # Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。
from lxml import etree # 引用etree处理网页源代码会默认修改编码,解析成xpath能解析的编码
import mysql.connector
db = mysql.connector.connect(user=‘root‘, password=‘12345678‘, host=‘127.0.0.1‘, port=‘3306‘, db=‘xp_xiaoshuo‘)
cursor = db.cursor()
content = requests.get(‘http://www.23us.so/list/1_1.html‘).content.decode(‘utf8‘) # 获取网页源码并转为utf8编码格式
# print(content)
lxmls = etree.HTML(content) # 当成response使用;这段代码就是支持xpath的属性
#注意:以前用的是//*[@id="content"]/dd[1]/table/tr[2]/td[1]/a/text(),只匹配到一行,去掉tr[2],就匹配到整个页面的信息
title = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[1]/a/text()‘) # 文章
sections = lxmls.xpath(‘//*[@id="content"]/dd[1]/table/tr/td[2]/a/text()‘) # 最新章节
author = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[3]/text()‘) # 作者
zijie = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[4]/text()‘) # 字节
gengxin = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[5]/text()‘) # 更新
zt = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[6]/text()‘) # 状态
for i in range(len(title)):
print(title[i], sections[i], author[i], zijie[i], gengxin[i], zt[i])
sql = "insert into xp_table(`title`,`sections`,`author`,`zijie`,`gengxin`,`zt`)VALUES (‘%s‘,‘%s‘,‘%s‘,‘%s‘,‘%s‘,‘%s‘)" % (
title[i], sections[i], author[i], zijie[i], gengxin[i], zt[i])
cursor.execute(sql)
db.commit()
xpath爬顶点页面信息
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。