Python实现抓取http://www.cssmoban.com/cssthemes站点的模版并下载

实现代码

# -*- coding: utf-8 -*-
import urlparse
import urllib2
import re
import os  
import os.path

URL=‘http://www.cssmoban.com/cssthemes‘

#全局超时设置 
urllib2.socket.setdefaulttimeout(500)

#依据url获取内容
def getUrlContent(url):
    response = urllib2.urlopen(url)
    html = response.read();
    return html

#获取html中的a标签。且格式是<a target="_blank" href=http://www.mamicode.com/"/showcase/*">的>
\/a>‘,html)

#获取下载文件的标题
def getDownTitle(html):
    return re.findall(‘\<h1>(.*?
)\</h1>‘,html)

#获取文件下载的url
def getDownUrl(html):
    return re.findall(‘<a.*?class="button btn-down".*?
\/a>‘,html)

#获取下一页的url
def getNextUrl(html):
    return re.findall(‘<a.*?
下一页</a>‘,html)

#下载文件
def download(title,url):
    result = urllib2.urlopen(url).read()
    if os.path.exists("template/")==False:
        os.makedirs("template/")
    newname=("template/"+title.decode(‘utf-8‘))
    newname=newname+‘.‘+url[url.rfind(‘.‘)+1:len(url)]
    open(newname, "wb").write(result)

#记录日志
def i(msg):
    fileobj=open(‘info.log‘,‘a‘)
    fileobj.write(msg+‘\n‘)
    fileobj.close();
    print msg
#记录错误日志
def e(msg):
    fileobj=open(‘error.log‘,‘a‘)
    fileobj.write(msg+‘\n‘)
    fileobj.close();
    print msg
if __name__ == ‘__main__‘:

    #print getDownUrl(‘<a href=http://www.mamicode.com/"http://down.cssmoban.com/cssthemes1/cctp_17_jeans.zip" target="_blank" class="button btn-down" title="免费下载">免费下载‘)>