在进行网络开发或者爬虫方面的时候,我们经常需要发送网络请求,而Python的requests库可以方便地完成这项任务。requests是一个Python的HTTP库,它允许我们以人类可读的方式向网站发送请求,并用Python解析响应。使用requests库,我们可以做到发送HTTP/1.1和HTTP/2请求,支持国际域名和IDNA,会话保持,浏览器式身份验证,支持压缩和身份验证等等。下面我们将详细介绍requests库的用法。
一、发送基本的HTTP请求
发送HTTP请求是requests库的主要功能之一。我们可以使用requests.get方法向指定的URL发送get请求,请求并返回服务器响应,用法如下:
import requests response = requests.get('https://www.baidu.com/') print(response.status_code) print(response.text)
response.status_code是响应状态码(例如200表示成功,404表示未找到,500表示服务器错误等),response.text是响应的内容。请求成功后,我们可以通过response.text查看响应结果,例如百度首页的HTML代码。
二、发送带参数的HTTP请求
有时候,我们需要发送包含参数的请求,这可以通过给requests.get方法传递params参数来实现,示例如下:
import requests payload = {'key1': 'value1', 'key2': 'value2'} response = requests.get('https://httpbin.org/get', params=payload) print(response.url) print(response.text)
上面的代码中,我们给get方法传递一个参数字典payload,然后requests会自动将参数组装成url,最后输出response.url和response.text。我们可以看到,response.url显示的是带参数的URL,response.text包含了HTTP响应的正文。
三、发送POST请求
requests库也支持发送POST请求,用法跟发送GET请求很像。我们只需要通过requests.post方法传递需要POST的数据即可,代码如下:
import requests payload = {'key1': 'value1', 'key2': 'value2'} response = requests.post('https://httpbin.org/post', data=payload) print(response.text)
我们把需要POST的数据定义成字典payload,然后通过data参数传递给post方法即可。最后输出响应结果,这里我们可以看到http://httpbin.org/post站点返回的结果,包含了我们POST数据的内容。
四、设置请求头部信息
在进行HTTP通信是,包含的请求和响应信息都是通过请求头部信息来传递的。requests请求方法中可以设置headers参数来自定义请求头部信息。
import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36' } response = requests.get('https://www.baidu.com/', headers=headers) print(response.text)
我们可以自定义User-Agent来发送请求,从而模拟浏览器发起请求。这里我们使用了谷歌浏览器作为User-Agent,百度会以为我们是使用Chrome浏览器访问百度网站,于是返回了相应内容。
五、错误处理
人工编写的HTTP客户端通常需要考虑与服务器的不良或失败交互。requests库内置了一个明确的异常层次结构,用于处理请求和响应所发生的常见异常,例如连接超时等。
import requests try: response = requests.get('https://httpbin.org/get', timeout=0.1) print(response.status_code) except requests.exceptions.Timeout: print('请求超时了')
我们可以在请求过程中添加timeout参数来设置超时时间。如果请求超过指定的超时时间,就会抛出requests.exceptions.Timeout异常,我们可以通过try/except对它进行捕获并进行相应的处理。