proxyhandler详解

发布时间：2023-05-20

一、介绍

proxyhandler是Python中的一个内置模块，它提供了一种通用的handler，用于处理带有代理的url请求。使用proxyhandler可以轻松地访问需要代理的网站。 proxyhandler的使用非常简单，只需要创建一个ProxyHandler对象并将其传递给urllib.request.build_opener方法即可。

import urllib.request
# 代理服务器
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://127.0.0.1:8080',
    'https': 'http://127.0.0.1:8080'
})
# 创建opener
opener = urllib.request.build_opener(proxy_handler)
# 发送请求
response = opener.open('http://www.baidu.com')
# 打印响应内容
print(response.read().decode())

上面的代码中，proxy_handler是一个代理处理器对象，它将会发送所有的请求到指定的代理服务器。创建opener时需要将proxy_handler作为参数传入，这样就能够使用代理访问指定网站。发送请求和打印响应的部分与普通的urlopen方法相同。

二、使用代理

使用代理的方式有很多种，下面介绍几种常见的代理使用方式。

1、使用HTTP代理

import urllib.request
# HTTP代理服务器
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://127.0.0.1:8080'
})
# 创建opener
opener = urllib.request.build_opener(proxy_handler)
# 发送请求
response = opener.open('http://www.baidu.com')
# 打印响应内容
print(response.read().decode())

上面的代码中，指定了一个HTTP代理服务器。通过将代理服务器地址传递给ProxyHandler的构造函数，可以创建代理处理器对象。然后，使用代理处理器对象创建opener，再使用opener发送请求即可。

2、使用HTTPS代理

import urllib.request
# HTTPS代理服务器
proxy_handler = urllib.request.ProxyHandler({
    'https': 'http://127.0.0.1:8080'
})
# 创建opener
opener = urllib.request.build_opener(proxy_handler)
# 发送请求
response = opener.open('https://www.baidu.com')
# 打印响应内容
print(response.read().decode())

上面的代码中，指定了一个HTTPS代理服务器。只需将代理服务器地址传递给ProxyHandler的构造函数即可。

3、使用SOCKS代理

import urllib.request
# SOCKS5代理服务器
proxy_handler = urllib.request.ProxyHandler({
    'socks': 'socks5://127.0.0.1:1080'
})
# 创建opener
opener = urllib.request.build_opener(proxy_handler)
# 发送请求
response = opener.open('http://www.baidu.com')
# 打印响应内容
print(response.read().decode())

上面的代码中，指定了一个SOCKS5代理服务器。只需将代理服务器地址传递给ProxyHandler的构造函数即可。

三、忽略代理

有些网站不支持代理访问，可以通过以下两种方式忽略代理：

1、针对特定网址忽略代理

import urllib.request
# 代理服务器
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://127.0.0.1:8080'
})
# 创建opener
opener = urllib.request.build_opener(proxy_handler)
# 创建请求对象
req = urllib.request.Request('http://www.baidu.com')
# 忽略代理
req.set_proxy(None, None)
# 发送请求
response = opener.open(req)
# 打印响应内容
print(response.read().decode())

上面的代码中，使用Request对象创建请求，然后使用set_proxy方法将代理设置为None，即可忽略代理请求。

2、全局忽略代理

import urllib.request
# 代理服务器
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://127.0.0.1:8080'
})
# 创建opener
opener = urllib.request.build_opener(proxy_handler)
# 忽略代理
urllib.request.install_opener(opener)
# 发送请求
response = urllib.request.urlopen('http://www.baidu.com')
# 打印响应内容
print(response.read().decode())

上面的代码中，使用install_opener方法将代理设置为None，即可忽略代理请求。

四、总结

proxyhandler是Python中非常实用的一个内置模块，可以轻松地使用代理访问需要代理的网站。使用方法非常简单，只需创建一个ProxyHandler对象并将其传递给urllib.request.build_opener方法即可。 在使用代理的过程中，我们还介绍了多种使用代理的方式，包括使用HTTP代理、HTTPS代理和SOCKS代理。同时，我们也介绍了如何忽略代理访问特定网址和全局忽略代理的方法。

推荐文章