首页 > 代码库 > python2.7 爬虫初体验爬取新浪国内新闻_20161130
python2.7 爬虫初体验爬取新浪国内新闻_20161130
python2.7 爬虫初学习
模块：BeautifulSoup requests
1、获取新浪国内新闻标题
2、获取新闻url
3、还没想好,想法是把第2步的url 获取到下载网页源代码 再去分析源代码 获取新闻详情页 发表时间 新闻来源等数据 结合MySQLdb模块导入到数据库
4、疑惑：期望是整体获取这些字段 发表时间 发布标题 新闻详情内容 新闻来源
任重而道远。。都想拜个老师带带了。。
#coding:utf-8
import requests
from bs4 import BeautifulSoup as bs
url=‘http://news.sina.com.cn/china/‘
res=requests.get(url)
res.encoding=‘utf-8‘
html=res.text
soup=bs(html,‘html.parser‘)
title=soup.select(‘.blk12‘)[0].text
print title
t=soup.select(‘.blk12 a‘)
for i in range(len(t)):
url=t[i][‘href‘]
print url
python2.7 爬虫初体验爬取新浪国内新闻_20161130
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。