首页 > 代码库 > python3 爬虫之爬取安居客二手房资讯(多线程版)
python3 爬虫之爬取安居客二手房资讯(多线程版)
第一步先分析网站结构http://esf.zs.fang.com/
寻找我们需要获取的信息，点击进去看看，
链接里面信息更加详细，这些就是我们要获取的。
1.我们可以先获取http://esf.zs.fang.com/链接下的所有详细链接http://esf.zs.fang.com/chushou/3_255784229.htm
2.然后可以在详细链接下分析获取我们所需要的数据
3.获取数据之后存取到数据库mongodb
打开管理员工具F12观察http://esf.zs.fang.com/的详细链接情况
下一页
发现详细的链接在dl标签里面的
都是整齐的，这样我们就可以用BeautifulSoup方法获取这个详细链接，但是这个链接并不是完整的
观察详细页的链接发现它们事有关联的http://esf.zs.fang.com + chushou/3_255784229.htm
然后我们就可以开始写了
我们先要获取全部详情页
http://esf.zs.fang.com/house/i33/
http://esf.zs.fang.com/house/i34/
发现页数是跟url有关联的，我们就可以弄一个生成器生成这些原始链接
def get_url(user_in_city,user_in_nub): #获取user_in_city,user_in_nub的链接
url_home = (‘http://esf.‘+ user_in_city + ‘.fang.com/house/i3{}/‘)
for url_next in range(1, int(user_in_nub)):
yield url_home.format(url_next)
user_in_city,user_in_nub分别是http://esf.zs.fang.com/house/i34/的zs和 i34，city和nub当参数传给函数，我们后面可以通过调用来改变生成的网页
调用一下
因为这是一个生成器我们要迭代生成
获取了url然后我们就要分析获取url里面的详细url：
用开发者工具观察结构
链接实在a标签里面的href 这样我们可以def一个方法获取然后生成一个完整的详细链接。
def open_url(url,user_in_city):
try:
res = requests.get(url, headers=headers1)
if res.status_code == 200:
soup = BeautifulSoup(res.text, ‘html5lib‘)
url_start = ‘http://esf.‘ + user_in_city + ‘.fang.com‘
for title in soup.select(‘.title‘): # 网址链接列表
url_end = title.select(‘a‘)[0][‘href‘]
yield url_start + url_end
except RequestException:
return print(‘检查open_url‘)
先要import requests，from bs4 import BeautifulSoup来获取及分析
加入status_code异常处理，如果status_code不等于200返回‘检查open_url‘
不行了直接上源码吧老怼
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# Author;Tsukasa
import pymongo
Mongo_Url=‘localhost‘
Mongo_DB=‘fangtianxia‘
Mongo_TABLE=‘fangtianxia_fs‘
import json
import requests
from bs4 import BeautifulSoup
from requests.exceptions import RequestException
import pandas as pd
import time
from fake_useragent import UserAgent
from multiprocessing import Pool
ua = UserAgent()
headers1 = {‘User-Agent‘:‘ua.ramdom‘}
client = pymongo.MongoClient(Mongo_Url)
db = client[Mongo_DB]
def get_url(user_in_city,user_in_nub): #获取user_in_city,user_in_nub的链接
url_home = (‘http://esf.‘+ user_in_city + ‘.fang.com/house/i3{}/‘)
for url_next in range(1, int(user_in_nub)):
yield url_home.format(url_next)
def open_url(url,user_in_city):
try:
res = requests.get(url, headers=headers1)
if res.status_code == 200:
soup = BeautifulSoup(res.text, ‘html5lib‘)
url_start = ‘http://esf.‘ + user_in_city + ‘.fang.com‘
for title in soup.select(‘.title‘): # 网址链接列表
url_end = title.select(‘a‘)[0][‘href‘]
yield url_start + url_end
except RequestException:
return print(‘检查open_url‘)
def one_page(house_url):
try:
res = requests.get(house_url, headers=headers1)
if res.status_code ==200:
soup = BeautifulSoup(res.text, ‘html5lib‘)
info = {}
info[‘网页‘] = house_url
info[‘标题‘] = soup.select(‘h1‘)[0].text.strip() # 获取标题
info[‘总价‘] = soup.select(‘.red20b‘)[0].text + ‘万‘ # 总价
info[‘联系电话‘] = soup.select(‘#mobilecode‘)[0].text # 电话
#now_time = time.strftime(‘%Y-%m-%d\t%H:%M‘,time.localtime(time.time()))
#info[‘Obj更新时间‘] = now_time
for sl in soup.select(‘span‘): # 获取发布时间
if ‘发布时间‘ in sl.text.lstrip(‘<span>‘):
key, value = http://www.mamicode.com/(sl.text.strip().rstrip(‘(‘).split(‘：‘))>
python3 爬虫之爬取安居客二手房资讯(多线程版)
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。