requests.session详解

发布时间:2023-05-20

一、基本介绍

requests是一个强大的Python HTTP客户端库,requests.session是一个提供cookie持久性的类。requests.session对象可以跨请求保持某些参数,如cookie,header等。

使用requests.session可以让我们更方便地设置HTTP请求头和Cookie等信息,节省代码量,提高开发效率。

二、创建Session对象

在开始使用requests.Session()之前,我们需要先导入requests库:

    import requests

接着,我们可以使用requests.Session()创建一个会话:

    s = requests.Session()

可以看到,创建Session对象只是简单地实例化了一个requests.Session()对象。

三、Session对象的使用

1、发送请求

我们可以通过Session对象发送GET、POST以及其他HTTP请求。使用Session对象发送请求和使用普通的requests.get()或requests.post()并没有什么区别。

示例代码:

    response = s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
    print(response.text)

通过上面的代码,我们向httpbin.org发送了一个GET请求,并向其设置了一个名为sessioncookie的cookie。下面的代码可以验证这个cookie是否成功设置:

    response = s.get('http://httpbin.org/cookies')
    print(response.text)

这段代码输出的内容是:

    {
     "cookies": {
      "sessioncookie": "123456789"
     }
    }

可以看到,我们成功地获取了刚刚设置的cookie。

2、使用请求头

Session对象可以帮助我们自动为每个请求设置请求头。对于那些需要使用相同请求头的请求,使用Session对象可以避免重复代码。

使用Session对象设置默认请求头:

    s.headers.update({'key':'value'})

这样,我们创建的Session对象在发送请求时都会默认携带key:value的请求头。如果有些请求需要不同的请求头,可以在发送请求时覆盖默认请求头:

    response = s.get('http://httpbin.org/headers', headers={'user-agent':'my-app/0.0.1'})

以上代码中,我们设置了一个名为user-agent的请求头,覆盖了默认的请求头。

3、持久性Cookie

使用Session对象可以让所有的HTTP请求自动记录并携带cookie,实现持久性cookie。例如,我们可以在一个请求中设置cookie,而后续所有的请求都会自动携带该cookie。

示例代码:

    s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
    response = s.get('http://httpbin.org/cookies')
    print(response.text)

这段代码输出的内容是:

    {
     "cookies": {
      "sessioncookie": "123456789"
     }
    }

可以看到,我们成功地设置了一个cookie,并通过Session对象发送了一个GET请求。在接下来的请求中,该cookie会自动被携带。

4、会话过期

Session对象还可以模拟浏览器会话过期的场景。示例代码如下:

    s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
    response = s.get('http://httpbin.org/cookies', cookies={'sessioncookie': 'expired'})
    print(response.text)

以上代码中,我们在第一个请求中设置了一个cookie,并在第二个请求中将该cookie设置为过期。发送第二个请求后,服务器将会返回cookie过期的错误信息。

四、Session对象的优点

使用Session对象的优点主要体现在以下几个方面:

1、自动记录Cookie

Session对象可以自动记录每个HTTP请求中的Cookie,从而实现Cookie的持久性。无需手动设置和维护Cookie,大大减少了代码量。

2、复用TCP连接

Session对象采用TCP长连接,当一个Session对象处理多个请求时,它们使用同一个TCP连接,而不是每次都建立一个新的连接,提高了连接效率。

3、自动处理重定向

当服务器返回重定向请求时,Session对象会自动处理,重定向的过程对用户是透明的,不需要用户自己处理。

4、使用更加方便

Session对象可以帮助我们自动记录请求头信息,避免重复的代码;将上下文信息打包在一个对象中,更容易管理和使用。

五、总结

requests.session是一个提供cookie持久性的类,使用Session对象发送请求和使用普通的requests.get()或requests.post()并没有什么区别。Session对象可以记录并自动携带cookie、默认请求头等信息,节省了重复代码,并提高了连接效率。同时,Session对象还可以自动处理重定向请求。使用requests.session可以让我们更轻松地处理HTTP请求,提高开发效率,是网络爬虫开发中的一个重要工具。