一、基本介绍
1、什么是cookie?
Cookie,指的是网站为了辨别用户身份而存储在用户本地终端上的数据。简单来说,就是通过在用户访问网站时,将一小段数据送给用户,并且要求用户在以后访问时再次提供此数据,以便验证用户的身份。
2、如何获取cookie?
获取cookie需要用到Python中的requests库。requests是用Python语言基于urllib编写的一个HTTP客户端库,目的是用于替代Python的标准库urllib.request。requests库能够方便地发送HTTP/1.1请求。使用requests库可以轻松获取cookie。
二、获取cookie的方法
1、使用requests库获取cookie
import requests #定义目标URL url = 'http://www.baidu.com' #发送get请求 r = requests.get(url) #获取cookie cookies = r.cookies #打印cookie值 print(cookies)
解释:使用requests.get()方法请求网站地址,然后使用r.cookies获取到对应的cookie值。
2、使用requests.Session()方法获取cookie
import requests #定义目标URL url = 'http://www.baidu.com' #创建Session对象 s = requests.Session() #发送get请求 r = s.get(url) #获取cookie cookies = requests.utils.dict_from_cookiejar(s.cookies) #打印cookie值 print(cookies)
解释:使用requests.Session()方法创建Session对象,该对象会自动保留cookie值,以便后续发送请求时能够自动携带cookie。使用requests.utils.dict_from_cookiejar()方法可以将cookie转换为字典格式。
3、手动设置cookie值
import requests #定义目标URL url = 'http://www.baidu.com' #手动设置cookie值 cookies = {'key':'value'} #发送get请求,携带cookie值 r = requests.get(url, cookies=cookies) #打印cookie值 print(r.cookies)
解释:手动设置cookie值后,通过requests.get()方法发送get请求,将cookie值携带在请求头中。
三、应用场景
1、模拟用户登录
用户登录时,服务端会在用户本地终端上存储cookie用于辨别用户身份。此时我们可以使用requests.Session()方法创建Session对象,该对象自动保留cookie值,以便后续的请求能够自动携带cookie。通过发送post请求,提交用户登录信息,即可实现模拟用户登录。
2、爬虫抓取网页数据
有些网站会根据cookie值来限制用户的访问频率或者请求数据量。在进行爬虫抓取时,如果不设置cookie,很可能会被网站拒绝服务。此时,我们可以通过手动设置cookie值或者通过requests.Session()方法自动保存cookie值,实现爬虫抓取数据的目的。
四、注意事项
1、获取cookie时需要确保访问的目标URL正确;
2、不同网站的cookie名和值不同,需要根据目标网站设置正确的cookie名和值;
3、在使用Session对象时,需要注意Session对象会自动保留cookie值,可能会导致一些安全问题,请谨慎使用。