首页 > 代码库 > Python爬虫学习之获取网页源码
Python爬虫学习之获取网页源码
偶然的机会,在知乎上看到一个有关爬虫的话题<利用爬虫技术能做到哪些很酷很有趣很有用的事情?>,因为强烈的好奇心和觉得会写爬虫是一件高大上的事情,所以就对爬虫产生了兴趣。
关于网络爬虫的定义就不多说了,不知道的请自行点击查看 =>百度百科 网络爬虫,维基百科 网络爬虫
有很多编程语言都可以编写网络爬虫,只不过各有各的优缺点,这里我选择用Python语言编写爬虫,因为Python是一门非常适合用来编写爬虫的语言,用它实现爬虫的代码量相对其他语言要少很多,并且python语言对网络编程这类模块的封装特别的好,它的语言特点使得很多程序员愿意用其编写程序。为了学习爬虫,我接触了Python这门语言,并且在不断深入学习中,把它于爬虫相结合起来,以便于实现爬虫。我学习并且使用的版本是 Python3.
学习网络爬虫需要先了解一些基础知识:
- HTML 用于了解整个网页的构成,方便从网页中爬取需要的东西
- HTTP 协议,用于了解网址的构成,以便于解析URL
- Python 用于编写相关的程序以实现爬虫
我所学到的第一个爬虫程序就是爬取网页的源码。不要以为获取网页源码是一个非常小而简单的程序,它是爬虫的基础,至关重要。下面是我自己理解并实现的代码,若有不对的地方请指出,以便学习改进。
1 # -*- coding:utf-8 -*- #设置编码类型为utf-8 2 import requests #导入相关的请求模块 3 4 url = ‘http://www.jianshu.com/‘ #要获取的网页网址(简书首页) 5 response = requests.get(url) #通过requests中的get()获取网页连接的状态码 6 content = response.text #通过text从返回的状态码中获取网页的信息 7 print(content) #把源码输出到控制台
Python爬虫学习之获取网页源码
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。