首页 > 代码库 > 抓取58同城二手手机一个列表页的对应详情页的内容
抓取58同城二手手机一个列表页的对应详情页的内容
本来是根据教程上的是区分个人和商家的,但是教程是15年的58同城网站进行了改版,个人的二手物品时跳转转转的,商家的还在58,所以两个详情页面的标签不再通用,没有实现个人和商家页面的跳转。代码如下:
from bs4 import BeautifulSoup
import requests
import time
url = ‘http://zhuanzhuan.58.com/detail/883905856824967177z.shtml‘
def get_links_from(who_sells):
urls = []
list_view = ‘http://bj.58.com/shouji/{}/‘.format(str(who_sells))
web_date = requests.get(list_view)
soup = BeautifulSoup(web_date.text,‘lxml‘)
for link in soup.select(‘td.t a.t‘):
urls.append(link.get(‘href‘))
return urls
def get_info(who_sells=0):
urls = get_links_from(who_sells)
for url in urls:
web_date = requests.get(url)
soup = BeautifulSoup(web_date.text,‘lxml‘)
data = http://www.mamicode.com/{
‘title‘:soup.title.text,
‘price‘:soup.select(‘span.price_now ‘)[0].text if soup.find_all(‘span‘,‘price_now‘) else None,
‘area‘: soup.select(‘div.palce_li > span > i ‘)[0].text if soup.find_all(‘div‘,‘palce_li‘) else None,
‘catr‘:‘个人‘if who_sells==0 else ‘商家‘,
‘view‘:None,
}
print(data)
get_info()
抓取58同城二手手机一个列表页的对应详情页的内容
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。