一、介绍
proxyhandler是Python中的一个内置模块,它提供了一种通用的handler,用于处理带有代理的url请求。使用proxyhandler可以轻松地访问需要代理的网站。
proxyhandler的使用非常简单,只需要创建一个ProxyHandler对象并将其传递给urllib.request.build_opener方法即可。
import urllib.request # 代理服务器 proxy_handler = urllib.request.ProxyHandler({ 'http': 'http://127.0.0.1:8080', 'https': 'http://127.0.0.1:8080' }) # 创建opener opener = urllib.request.build_opener(proxy_handler) # 发送请求 response = opener.open('http://www.baidu.com') # 打印响应内容 print(response.read().decode())
上面的代码中,proxy_handler是一个代理处理器对象,它将会发送所有的请求到指定的代理服务器。创建opener时需要将proxy_handler作为参数传入,这样就能够使用代理访问指定网站。发送请求和打印响应的部分与普通的urlopen方法相同。
二、使用代理
使用代理的方式有很多种,下面介绍几种常见的代理使用方式。
1、使用HTTP代理
import urllib.request # HTTP代理服务器 proxy_handler = urllib.request.ProxyHandler({ 'http': 'http://127.0.0.1:8080' }) # 创建opener opener = urllib.request.build_opener(proxy_handler) # 发送请求 response = opener.open('http://www.baidu.com') # 打印响应内容 print(response.read().decode())
上面的代码中,指定了一个HTTP代理服务器。通过将代理服务器地址传递给ProxyHandler的构造函数,可以创建代理处理器对象。然后,使用代理处理器对象创建opener,再使用opener发送请求即可。
2、使用HTTPS代理
import urllib.request # HTTPS代理服务器 proxy_handler = urllib.request.ProxyHandler({ 'https': 'http://127.0.0.1:8080' }) # 创建opener opener = urllib.request.build_opener(proxy_handler) # 发送请求 response = opener.open('https://www.baidu.com') # 打印响应内容 print(response.read().decode())
上面的代码中,指定了一个HTTPS代理服务器。只需将代理服务器地址传递给ProxyHandler的构造函数即可。
3、使用SOCKS代理
import urllib.request # SOCKS5代理服务器 proxy_handler = urllib.request.ProxyHandler({ 'socks': 'socks5://127.0.0.1:1080' }) # 创建opener opener = urllib.request.build_opener(proxy_handler) # 发送请求 response = opener.open('http://www.baidu.com') # 打印响应内容 print(response.read().decode())
上面的代码中,指定了一个SOCKS5代理服务器。只需将代理服务器地址传递给ProxyHandler的构造函数即可。
三、忽略代理
有些网站不支持代理访问,可以通过以下两种方式忽略代理:
1、针对特定网址忽略代理
import urllib.request # 代理服务器 proxy_handler = urllib.request.ProxyHandler({ 'http': 'http://127.0.0.1:8080' }) # 创建opener opener = urllib.request.build_opener(proxy_handler) # 创建请求对象 req = urllib.request.Request('http://www.baidu.com') # 忽略代理 req.set_proxy(None, None) # 发送请求 response = opener.open(req) # 打印响应内容 print(response.read().decode())
上面的代码中,使用Request对象创建请求,然后使用set_proxy方法将代理设置为None,即可忽略代理请求。
2、全局忽略代理
import urllib.request # 代理服务器 proxy_handler = urllib.request.ProxyHandler({ 'http': 'http://127.0.0.1:8080' }) # 创建opener opener = urllib.request.build_opener(proxy_handler) # 忽略代理 urllib.request.install_opener(opener) # 发送请求 response = urllib.request.urlopen('http://www.baidu.com') # 打印响应内容 print(response.read().decode())
上面的代码中,使用install_opener方法将代理设置为None,即可忽略代理请求。
四、总结
proxyhandler是Python中非常实用的一个内置模块,可以轻松地使用代理访问需要代理的网站。使用方法非常简单,只需创建一个ProxyHandler对象并将其传递给urllib.request.build_opener方法即可。
在使用代理的过程中,我们还介绍了多种使用代理的方式,包括使用HTTP代理、HTTPS代理和SOCKS代理。同时,我们也介绍了如何忽略代理访问特定网址和全局忽略代理的方法。