Python 2.7
IDE Pycharm 5.0.3

---

前言

在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，这里自己总结下如何避免

---

方法1：设置等待时间

有一些网站的防范措施可能会因为你快速提交表单而把你当做机器人爬虫，比如说以非常人的速度下载图片，登录网站，爬取信息。

常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）

1.显性等待时间

import time#导入包
time.sleep(3)#设置时间间隔为3秒

而且尽量在夜深人静的时候进行数据的采集，切记采集不要太快，不然容易让网站识别出你个非人类

2.隐式等待
这里用到的主要语句，以wait.until()为例
比如说形式如下

wait1.until(lambda driver: driver.find_element_by_xpath("//div[@id=‘link-report‘]/span"))

上面的语句就是在等待页面元素加载全部完成后才进行下一步操作，因为爬虫速度太快，导致一些元素没有被加载完全就进行下一步操作而导致没有查找到元素或者被网站认为是机器人在进行浏览。

具体的案例可以在我以前的文章中详细应用Python自定义豆瓣电影种类，排行，点评的爬取与存储（进阶下）

---

方法2：修改请求头

识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36’

这里拿urllib2来说，默认的User-Agent是Python-urllib2/2.7，所以要进行修改。

import urllib2

req = urllib2.Request(url)
#多了以下一这一步而已
req.add_header(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36‘)

response = urllib2.urlopen(req)

---

方法3：采用代理ip

当自己的ip被网站封了之后，只能采取换代理ip的方式进行爬取，所以，我建议，每次爬取的时候尽量用代理来爬，封了代理，还有代理，无穷无尽啊，可别拿代理去黑学校网站啊，你懂得0.0
废话不多说，扔上代理的实现程序

# -*- coding: utf-8 -*-

import urllib2

url = "http://www.ip181.com/"
proxy_support = urllib2.ProxyHandler({‘http‘:‘121.40.108.76‘})
#参数是一个字典{‘类型‘:‘代理ip:端口号‘}
opener = urllib2.build_opener(proxy_support)
#定制opener
opener.add_handler=[(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36‘)]
#add_handler给加上伪装
urllib2.install_opener(opener)
response = urllib2.urlopen(url)

print response.read().decode(‘gbk‘)

这里采用的测试网站是http://www.ip181.com， 它可以检测出你使用的ip是什么，正好来检验自己是否用代理ip成功

从结果中可以看出，检测出了代理ip，正是我自己加上的ip值，此乃最后一招，当自己ip被封后，采用代理ip进行访问。
要是一个代理ip挂了怎么办，那你可以做个ip池啊，就是把一堆代理ip放在一起，每次运行时从ip池挑一个代理ip当做访问ip就可以了！

采用ip池的方法~举个栗子

# -*- coding: utf-8 -*-

import urllib2
import random

ip_list=[‘119.6.136.122‘,‘114.106.77.14‘]
#使用一组ip调用random函数来随机使用其中一个ip
url = "http://www.ip181.com/"
proxy_support = urllib2.ProxyHandler({‘http‘:random.choice(ip_list)})
#参数是一个字典{‘类型‘:‘代理ip:端口号‘}
opener = urllib2.build_opener(proxy_support)
#定制opener
opener.add_handler=[(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36‘)]
#add_handler给加上伪装
urllib2.install_opener(opener)
response = urllib2.urlopen(url)

print response.read().decode(‘gbk‘)

采用代理ip池的方法，可以看出，检测出的ip是ip池中的一个，对吧，很简单对不对，那么怎么来创建ip池呢，也很简单，用BS4随便找个匿名ip的网站进行代理ip爬取，然后清洗一下ip，把能用的留下来写到列表里，然后就可以形成ip池啦，最后当某个ip不能用了，那就从池中剔除！ip池制作，建议参考@七夜的故事–代理ip池

---

方法4：避开不可见元素陷阱

自己爬着爬着就把隐藏元素都爬出来了，你说你自己是不是爬虫吧，这是网站给爬虫的陷阱，只要发现，立马封IP，所以请查看一下元素再进行爬取！
比如说这个网址，一个简单的登录页面，从审查元素中我们可以看到有一些元素是不可见的！（例子抄自python网络数据采集第12章）

查找出陷阱url和不可见的value代码

from selenium import webdriver
#from selenium.webdriver.remote.webelement import WebElement

url = ‘http://pythonscraping.com/pages/itsatrap.html‘

driver = webdriver.PhantomJS(executable_path="phantomjs.exe")
driver.get(url)
links = driver.find_elements_by_tag_name("a")
for link in links:
    if not link.is_displayed():
        print "the link "+link.get_attribute("href")+"is a trap"

fields = driver.find_elements_by_tag_name("input")
for field in fields:
    if not field.is_displayed():
        print "do not change value of "+field.get_attribute("name")

结果就是

the link http://pythonscraping.com/dontgohereis a trap
do not change value of phone
do not change value of email

---

方法5：采用分布式爬取

基于Python,scrapy,redis的分布式爬虫实现框架

分布式爬取，针对比较大型爬虫系统，实现步骤如下所示
1.基本的http抓取工具，如scrapy
2.避免重复抓取网页，如Bloom Filter
3.维护一个所有集群机器能够有效分享的分布式队列
4.将分布式队列和Scrapy结合
5.后续处理，网页析取（python-goose），存储（Mongodb）
（知乎上看到的补充一下）

采用Scrapy的例子，请参考这里基于Scrapy对Dmoz进行抓取

---

方法6：进行模拟登陆

这个就太多了，一般用Selenium，可以结合Firefox或者是无头浏览器PhantomJS，这个做的东西比较多了，如果感兴趣，可以点击这些，进行查看，方法，代码，解析，一应俱全

• Selenium+PhantomJS自动续借图书馆书籍（下）
• Python自定义豆瓣电影种类，排行，点评的爬取与存储（进阶下）
• 基于Selenium一键写CSDN博客

---

Pay Attention

1.上述实验的代理ip只对当前数据有效，如果你自己想实验，请自己选择比较新的代理ip，我这个ip可能过一段时间就废了

2.目前我主要采用的方法就是采用加请求头挂上代理ip的方法，对用JS写的网站，requests抓不全数据，所以采用Selenium+PhantomJS/Firefox的方法

3.暂且学到这么多，自己总结了下，以后再补充。

---

更新

1.于2016.9.1 14:15进行第一次撰写
2.于2016.9.6 17:48进行第二次撰写

---

致谢

Python网络数据采集[Ryan Mitchell著][人民邮电出版社]
@MrLevo520–Python自定义豆瓣电影种类，排行，点评的爬取与存储（进阶下）
@七夜的故事–代理ip池
@MrLevo520–Selenium+PhantomJS自动续借图书馆书籍（下）
@MrLevo520–基于Selenium一键写CSDN博客