首页 > 代码库 > python开发轻量级爬虫

python开发轻量级爬虫

课程目标:

python开发轻量级爬虫

课程内容:

爬虫简介

  • 爬虫:一段自动抓取互联网信息的程序

简单爬虫架构

  • 爬虫调度器
  • URL管理器、
  • 网页下载器(urllib2)、
  • 网页解析器(BeautifulSoup4)
  • 网页生成器

完整实例

  • 爬取百度百科1000个页面的数据
技术分享
 



null


python开发轻量级爬虫