windows定时执行百度新闻爬虫

首页 > 代码库 > windows定时执行百度新闻爬虫

windows定时执行百度新闻爬虫

2024-08-19 15:17:07 222人阅读

　　想要做个新闻文本识别分类的项目，就先写了个爬取百度新闻的爬虫。

　　环境：win7 32 bit python3.4 若干第三方库

　　可以实现的功能：定期按照百度新闻的分类抓取新闻的标题，所属类别及文本内容，并自动存入数据库（MySQL），同时发邮件到自己邮箱提醒。

　　缺陷：因新闻来源不同，网页编码不同，会出现少量的乱码现象；存入数据库未添加自动去重功能（自己手动去重其实也并不难，所以没去研究这个）

　　STEP1: creat_dbtable.py链接数据库创建表（也可直接通过操作MySQL）

# -*- coding: utf-8 -*-
"""
Created on Sun Nov  6 23:31:33 2016

@author: Administrator
"""

#数据库创建操作
import MySQLdb

#打开数据库链接
db = MySQLdb.Connect(host="localhost",user="root",passwd=‘你的密码‘,db="test",use_unicode=True, charset="utf8")

cursor = db.cursor()

#如果数据已经存在，使用excute()方法删除表
cursor.execute("DROP TABLE IF EXISTS news")

#创建数据表	SQL语句
sql = """CREATE TABLE news(
		class VARCHAR(10) NOT NULL,
		title VARCHAR(100),
		text VARCHAR(15000)
		)"""

cursor.execute(sql)

#关闭数据库连接
db.close()

　　在MySQL看到表已经生成：

技术分享

　　step2:为了了解每次的抓取情况，写一个send_email.py来实现发送邮件的功能,这个文件在spider主文件里面来调用。

　　NOTE:这个往自己的邮箱发送邮件要在相应邮箱开启服务获取一个password才可以，这个网上教程也比较多，之后有空会补充。

#coding:utf-8
from email.header import Header
from email.mime.text import MIMEText
from email.utils import parseaddr, formataddr
import smtplib

def _format_addr(s):
    name, addr = parseaddr(s)
    return formataddr((Header(name,‘utf-8‘).encode(), addr))
def send_ms(T):
    from_addr = "1021550072@qq.com"
    password = ‘your-password‘
    to_addr = ‘1021550072@qq.com‘
    smtp_server = ‘smtp.qq.com‘
    msg = MIMEText(T, ‘plain‘, ‘utf-8‘)
    msg[‘From‘] = _format_addr(‘Anyone‘)
    msg[‘To‘] = _format_addr(‘Echo‘)
    msg[‘Subject‘] = Header(‘The New Report‘, ‘utf-8‘).encode()
    server = smtplib.SMTP_SSL(smtp_server, 465, timeout=10)
    server.set_debuglevel(0)
    server.login(from_addr,password)
    server.sendmail(from_addr, [to_addr], msg.as_string())
    server.quit()

# send_ms(T)

　　step3:创建spider.py文件，实现具体功能。

# -*- coding: utf-8 -*-
"""
Created on Sun Nov  6 21:24:27 2016

@author: Administrator
"""

import re
import time
import requests
import numpy as np
import send_email
from bs4 import BeautifulSoup
from collections import Counter
import MySQLdb

start = time.time()
#打开数据库链接

db = MySQLdb.Connect(host="localhost",user="root",passwd=‘password‘,db="test",use_unicode=True, charset="utf8")

cursor = db.cursor()


headers = {‘User-Agent‘:"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"}

# 获取首页数据head_data
def get_head_data():
    head_url = ‘http://internet.baidu.com/‘
    data = http://www.mamicode.com/requests.get(head_url,headers=headers)"(http.*?.com/).*?>.*?(\w+)</a></li>‘)
    ma = re.findall(pa,head_data)[1:-7]
    ma = list(set(ma))[:-1]
    # print(len(ma))
    for i in range(len(ma)):
        key = ma[i][1]
        value = http://www.mamicode.com/ma[i][0]">‘)
    charset = re.findall(pa,class_data.text)[0]
    class_data.encoding  = charset
    # class_data.encoding = ‘gbk‘
    class_data =http://www.mamicode.com/class_data.text">‘)
        charset = re.findall(pa,data.text)[0]
        data.encoding  = charset
        data = http://www.mamicode.com/BeautifulSoup(data.text,‘lxml‘).get_text()"[A-Za-z0-9\[\`\~\!\@\#\$\ \^\"\-\+\_\\&\\n\\t\*\(\)\=\|\{\}\‘\:\;\‘\,\[\]\.\<\>\/\?\~\！\@\#\\\&\*\%]", "", data)
    except:
        # print(‘get New Text fail...‘)
        text = None
        pass
    return text
	


head_data = http://www.mamicode.com/get_head_data()"""INSERT INTO news	   SET class=%s, title=%s, text=%s"""
        try:
            cursor.execute(sql,(class_title,news_title,text))
            db.commit()
            count += 1
        except:
            # print(‘Save fail...‘)
            pass

db.close()

end = time.time()
total_time = end - start

T1 = ‘本次抓取耗时%s‘%str(total_time)
T2 = ‘  &   本次共抓取%s条新闻‘%str(count)
T = T1+T2
# print(t1,t2)

send_email.send_ms(T)

　　数据库存储情况：

技术分享