本文和大家分享的是在使用python 进行数据抓取中，异常重试相关解决办法，一起来看看吧，希望对大家学习python有所帮助。

在做数据抓取的时候，经常遇到由于网络问题导致的程序保存，先前只是记录了错误内容，并对错误内容进行后期处理。

原先的流程：

defcrawl_page(url):

 pass

deflog_error(url):

 pass

url = "" try:

crawl_page(url) except:

log_error(url)

改进后的流程：

attempts = 0

success =  Falsewhile attempts < 3  and  not success:

 try:

crawl_page(url)

success =  True

 except:

attempts += 1

 if attempts == 3:

 break

最近发现的新的解决方案：retrying

retrying 是一个  Python 的重试包，可以用来自动重试一些可能运行失败的程序段。 retrying 提供一个装饰器函数 retry ，被装饰的函数就会在运行失败的条件下重新执行，默认只要一直报错就会不断重试。

importrandom

fromretryingimportretry

@retry

defdo_something_unreliable():

 if random.randint(0, 10) > 1:

raiseIOError("Broken sauce, everything is hosed!!!111one")

 else:

 return "Awesome sauce!"

printdo_something_unreliable()

如果我们运行have_a_try 函数，那么直到 random.randint 返回 5 ，它才会执行结束，否则会一直重新执行。

retry 还可以接受一些参数，这个从源码中 Retrying 类的初始化函数可以看到可选的参数：

· stop_max_attempt_number ：用来设定最大的尝试次数，超过该次数就停止重试

· stop_max_delay ：比如设置成 10000 ，那么从被装饰的函数开始执行的时间点开始，到函数成功运行结束或者失败报错中止的时间点，只要这段时间超过 10 秒，函数就不会再执行了

· wait_fixed ：设置在两次 retrying 之间的停留时间

· wait_random_min 和 wait_random_max ：用随机的方式产生两次 retrying 之间的停留时间

· wait_exponential_multiplier 和 wait_exponential_max ：以指数的形式产生两次 retrying 之间的停留时间，产生的值为 2^previous_attempt_number * wait_exponential_multiplier ，previous_attempt_number 是前面已经 retry 的次数，如果产生的这个值超过了 wait_exponential_max 的大小，那么之后两个 retrying 之间的停留值都为 wait_exponential_max 。这个设计迎合了 exponential backoff 算法，可以减轻阻塞的情况。

·  我们可以指定要在出现哪些异常的时候再去 retry ，这个要用 retry_on_exception 传入一个函数对象：

defretry_if_io_error(exception):

 return isinstance(exception, IOError)

@retry(retry_on_exception=retry_if_io_error)

defread_a_file():

withopen("file", "r")  as f:

 return f.read()

在执行read_a_file 函数的过程中，如果报出异常，那么这个异常会以形参 exception 传入retry_if_io_error 函数中，如果 exception 是 IOError 那么就进行 retry ，如果不是就停止运行并抛出异常。

我们还可以指定要在得到哪些结果的时候去retry ，这个要用 retry_on_result 传入一个函数对象：

defretry_if_result_none(result):

 return resultis None

@retry(retry_on_result=retry_if_result_none)

defget_result():

 return None

在执行get_result 成功后，会将函数的返回值通过形参 result 的形式传入 retry_if_result_none 函数中，如果返回值是 None 那么就进行 retry ，否则就结束并返回函数值。

来源： 标点符