首页 > 代码库 > 第三百二十二节，web爬虫，requests请求

第三百二十二节，web爬虫，requests请求

2024-11-03 17:13:01   210人阅读

第三百二十二节，web爬虫，requests请求

requests请求，就是用yhthon的requests模块模拟浏览器请求，返回html源码

 

模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求

 

一、不需要用户登录或者验证的请求

这种比较简单，直接利用requests模块发一个请求即可拿到html源码

#!/usr/bin/env python
# -*- coding:utf8 -*-
import requests     #导入模拟浏览器请求模块

http =requests.get(url="http://www.iqiyi.com/")     #发送http请求
http.encoding = "utf-8"                             #http请求编码
neir = http.text                                    #获取http字符串代码
print(neir)

得到html源码

<!DOCTYPE html>
<html>
<head>
<title>抽屉新热榜-聚合每日热门、搞笑、有趣资讯</title>
        <meta charset="utf-8" />
        <meta name="keywords" content="抽屉新热榜,资讯,段子,图片,公众场合不宜,科技,新闻,节操,搞笑" />
        
        <meta name="description" content="
            抽屉新热榜，汇聚每日搞笑段子、热门图片、有趣新闻。它将微博、门户、社区、bbs、社交网站等海量内容聚合在一起，通过用户推荐生成最热榜单。看抽屉新热榜，每日热门、有趣资讯尽收眼底。
            " />
        
        <meta name="robots" content="index,follow" />
        <meta name="GOOGLEBOT" content="index,follow" />
        <meta name="Author" content="搞笑" />
        <meta http-equiv="X-UA-Compatible" content="IE=EmulateIE8">
        <link type="image/x-icon" href="/images/chouti.ico" rel="icon"/>
        <link type="image/x-icon" href="/images/chouti.ico" rel="Shortcut Icon"/>
        <link type="image/x-icon" href="/images/chouti.ico" rel="bookmark"/>
    <link type="application/opensearchdescription+xml"
          href="opensearch.xml" title="抽屉新热榜" rel="search" />

 

第三百二十二节，web爬虫，requests请求


联系
我们