使用Python的requests库发送网络请求

一、requests库的简介

requests是一个Python第三方库，用于向网站发送HTTP请求。它可以替代内置的urllib库，使得发送网络请求更加简单方便。requests库完美支持HTTP/1.1和HTTPS，并且支持连接池、cookie，通用连接等功能。

requests库对HTTP请求的封装给Python中的网络编程带来了一种更简洁、更方便的编程方式。在进行HTTP请求时，大部分用户会使用requests库，因为requests库可以让复杂的HTTP请求变得轻而易举。

二、requests库的安装

使用requests库发送HTTP请求必须先进行安装，推荐使用pip进行安装。使用pip安装requests库的方法如下：

    pip install requests

如果你没有安装pip，可以在命令提示符或终端窗口运行以下命令进行安装：

    easy_install pip

三、发送HTTP请求

1、发送GET请求

发送GET请求最常用的方法是requests.get()方法。requests.get()方法需要传入一个URL参数，它会将URL发送给服务器，并返回一个response对象，使用response对象的方法，可以对HTTP响应进行操作。

以下代码示例演示如何使用requests库发送get请求：

    import requests

    url = 'https://www.example.com'
    response = requests.get(url)

    print(response.text)

上述代码中，我们使用requests.get()方法获取URL的响应内容，并通过response.text输出响应内容到控制台。

在实际应用中，我们可能需要给URL添加请求头，设置代理，添加cookie等。requests库的接口都非常易于使用，让我们可以轻松地完成这些任务。

2、发送POST请求

在发送POST请求时，我们需要指定提交的数据。requests库的post()方法可以传递一个字典对象，该对象包含提交的数据。以下是一个发送POST请求的示例：

    import requests

    url = 'https://www.example.com/login'
    data = {'username':'myusername', 'password':'mypassword'}
    response = requests.post(url, data=data)

    print(response.text)

上述代码会将地址为'https://www.example.com/login'的POST请求提交给服务器，并将用户名和密码作为数据发送。如果登录成功，服务器将返回一个跳转地址，可以通过response.headers['Location']来获取跳转地址。

3、自定义请求头

在发送HTTP请求时，服务器会检查请求头中的一些信息，例如User-Agent信息，这可以让服务器了解你是通过浏览器还是爬虫发送HTTP请求。如果检测到某些不正常的情况，服务器可能会拒绝你的请求。

requests库允许我们修改请求头。在请求头中添加特定的User-Agent头可以让请求看起来更像一个正常的浏览器请求。下面是一个设置User-Agent头的示例：

    import requests

    url = 'https://www.example.com'
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
    response = requests.get(url, headers=headers)

    print(response.text)

上述代码中，我们将一个User-Agent头添加到了请求头中，让请求看起来更像一个正常的浏览器请求。

4、代理设置

requests库也支持代理设置。可以通过proxies参数指定一个代理服务器，以在发送HTTP请求时自动转发网络请求。以下是一个设置代理的示例：

    import requests

    url = 'https://www.example.com'
    proxies = {'http' : 'http://myproxy.example.com:1234',
                'https': 'http://myproxy.example.com:1234'}
    response = requests.get(url, proxies=proxies)

    print(response.text)

上述代码中，我们指定了一个HTTP和HTTPS代理服务器，用于转发网络请求。