首页 > 代码库 > 【Python爬虫】批量抓取网页上的视频

【Python爬虫】批量抓取网页上的视频

2024-08-05 06:40:30   221人阅读

1、为何学python

编程语言方面，本科这几年一直都用C/C++，因为研究生方向与机器学习相关，所以最近大部分时间在学机器学习，看了《机器学习实战》这本书，里面的实例都是用python来写，并且目前来说，对机器学习算法支持得比较多的语言是python，matlab/octave当然也很适合用于机器学习，但是毕竟是学术工具，速度等方面肯定不如python，工业开发还是用python、c++。

总之对于学习机器学习，python以及NumPy库要熟悉。

所以这两天决定学一下python，就找了个评价还不错的公开课看了两天，边看边敲代码，感觉python确实是一门很简单的语言，只要有点C++、C、Java或者其他语言基础，一两天完全可以入门python。当然入门简单，精通难，还是要靠多练。

下面简单的小爬虫程序是看完视频后写的，算是第一个小程序

2、爬虫小程序

因为刚好要看Andrew Ng的机器学习课程，所以就顺便用这个爬虫程序抓取了网页上的视频，网页地址：
http://v.163.com/special/opencourse/machinelearning.html

右键查看源代码，发现提供下载的视频格式都是“.mp4”后缀：




网页上提供下载的视频在源代码中都是这种式：href=‘http://mov.bn.netease.com/mobilev/2011/9/8/V/S7CTIQ98V.mp4‘
据此可以写出所要匹配的正则表达式：r=r" href=http://www.mamicode.com/‘(http.*/.mp4)‘ "

接下来的任务就是获取网页源代码，然后在源代码里面寻找所有匹配正则r的字符串。
抓取源代码可以利用urllib里的urlopen()方法：page=urllib.urlopen(url)，返回的是一个页面的对象page，通过html=page.read()可以将页面源代码保存到html变量中。


源代码抓下来之后，就要寻找并获取里面所有的：
href=‘http://mov.bn.netease.com/mobilev/2011/9/8/V/S7CTIQ98V.mp4‘
可以通过正则r，以及正则模块re里的findall方法来获取：mp4List=re.findall(re_mp4,html)
findall返回的是列表，列表里的元素就是视频的地址了，比如下面就是一个视频地址：             http://mov.bn.netease.com/mobilev/2011/9/8/V/S7CTIQ98V.mp4 


视频的地址抓取下来后，利用模块urllib里的urlretrieve()方法通过视频地址将视频下载下来：   urllib.urlretrieve(mp4url)，mp4url是mp4List里的元素。另外还可以给下载下来的视频命名：urllib.urlretrieve(mp4url,"%s.mp4" %filename)，这个filename是个变量，当下载完一个视频后，它就加1，这样所有视频被命名为1.mp4，2.mp4，3.mp4...........

为了便于查看下载进度，可以在urllib.urlretrieve(mp4url,"%s.mp4" %filename)后面加一句：
print  ‘file "%s.mp4" done‘ %filename，这样下载完一个视频后就会输出一行提示


运行效果如下：






代码如下：（python2.6）
#!/usr/bin/python
import re 
import urllib
def getHtml(url):
	page=urllib.urlopen(url)
	html=page.read()
	return html
def getMp4(html):
	r=r"href=http://www.mamicode.com/'(http.*/.mp4)'">


【Python爬虫】批量抓取网页上的视频


联系
我们