首页 > 代码库 > 使用python获取51CTO博客列表按时间倒序排序

使用python获取51CTO博客列表按时间倒序排序

之前看到了这道shell面试题:获取51CTO博客列表按时间倒序排序http://oldboy.blog.51cto.com/2561410/1860985

由于学了一段时间的python,试想着能否使用python来解题


思路:通过requests模块获取网页源码,通过split()函数获取总页数,拼接字符串获取所有博客地址的url。同样,通过requests获取所有页面的源码并通过正则匹配,获取关键信息,从而拼接出html页面。


#coding:utf-8

import requests
import re,sys

reload(sys)
sys.setdefaultencoding(‘utf-8‘)

# 获取页数
def page():
    url = ‘http://oldboy.blog.51cto.com/all/2561410‘
    content = requests.get(url).content
    msg = re.findall(r‘<center>(.*)</center>‘,content)[0]
    return msg.split(‘/‘)[-1].split()[0]

# 获取关键信息并拼接html
def oldboy():
    uri = ‘http://oldboy.blog.51cto.com/all/2561410/page/‘
    num = page()
    res = []
    for i in range(int(num)):
        url = uri + str(int(i)+1) 
	    content = requests.get(url).content
	    res += re.findall(r‘<a href="http://www.mamicode.com/(/d+/d+)">(.*)</a>‘,content)
	    # res格式[(‘/2561410/1867160‘,‘2017\xd7\xee\xd0\xc2\xc6\xf3\xd2\xb5Shell\xc3\xe6\xca\xd4\xcc\xe2\xbc\xb0\xc6\xf3\xd2\xb5\xd4\xcb\xce\xac\xca\xb5\xd5\xbd\xb9\xb230\xb5\xc0\xb0\xb8\xc0\xfd‘),...]
    html = ‘‘
    for i in res:
	    msg = i[1].decode(‘gbk‘)
	    href = ‘http://oldboy.blog.51cto.com‘+i[0]
	    html += "<p><br></p><p>{0}</p><p><a href=http://www.mamicode.com/‘{1}‘ target=‘_blank‘>{1}

".format(msg,href)         # html格式"<p><br></p><p>2017最新企业Shell面试题及企业运维实战共30道案例</p><p><a href=http://www.mamicode.com/‘http://oldboy.blog.51cto.com/2561410/1867160‘ target=‘_blank‘>http://oldboy.blog.51cto.com/2561410/1867160

..."     with open(‘oldboy_blog.html‘,‘w‘) as f:         f.write(html) if __name__==‘__main__‘:     oldboy()


html页面

技术分享


使用python获取51CTO博客列表按时间倒序排序