本文目录一览:
- 1、python使用Flask框架获取用户IP地址的方法
- 2、python随便给了个代理IP居然也能正常访问,这是为啥
- 3、python 爬虫 ip池怎么做
- 4、如何使用Python实现爬虫代理IP池
- 5、python中,进行爬虫抓取怎么样能够使用代理IP?
- 6、不能通过外网ip访问自己用python自带库建立的web服务器,内网ip却可以,求解
python使用Flask框架获取用户IP地址的方法
主要介绍了python使用Flask框架获取用户IP地址的方法,实例分析了Python使用Flask框架remote_addr获取IP的`技巧,非常具有实用价值,需要的朋友可以参考下。
下面的代码包含了html页面和python代码,非常详细,如果你正使用Flask,也可以学习一下最基本的Flask使用方法。
python代码如下:
?
1
2
3
4
5
6
7
8
9
10
11
12
13
from flask import Flask, render_template, request
# Initialize the Flask application
app = Flask(__name__)
# Default route, print user's IP
@app.route('/')
def index():
ip = request.remote_addr
return render_template('index.html', user_ip=ip)
if __name__ == '__main__':
app.run(
host="0.0.0.0",
port=int("80")
)
html代码如下:
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
!DOCTYPE html
html lang="en"
head
link href="bootstrap/3.0.0/css/bootstrap.min.css"
rel="stylesheet"
/head
body
p class="container"
p class="header"
h3 class="text-muted"How To Get The IP Address Of The User/h3
/p
hr/
p
You IP address is: strong{{user_ip}}/strong
p class="header"
h3 class="text-muted"Code to retrieve the IP/h3
/p
hr/
pre
from flask import Flask, render_template, request
# Initialize the Flask application
app = Flask(__name__)
# Default route, print user's IP
@app.route('/')
def index():
ip = request.remote_addr
return render_template('index.html', user_ip=ip)
/pre
/p
/p
/body
/html
希望本文所述对大家的Python程序设计有所帮助。
python随便给了个代理IP居然也能正常访问,这是为啥
不同的状态码代表着不同含义。
200并不代表正常访问并获取到返回值。只是表明正确处理了请求而已。
你随便设置的代理ip有可能真的存在这是一方面,另一方面代理只是链接与转发功能。200的状态码也并不能表示代理成功让你访问到了目标网址并获取到了正确的返回信息。
常见的状态码有很多,404、400、500等等。
以下资料摘自(csdn博客:)
1开头的http状态码
表示临时响应并需要请求者继续执行操作的状态代码。
100 (继续) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分。
101 (切换协议) 请求者已要求服务器切换协议,服务器已确认并准备切换。
2开头的http状态码
表示请求成功
200 成功处理了请求,一般情况下都是返回此状态码;
201 请求成功并且服务器创建了新的资源。
202 接受请求但没创建资源;
203 返回另一资源的请求;
204 服务器成功处理了请求,但没有返回任何内容;
205 服务器成功处理了请求,但没有返回任何内容;
206 处理部分请求;
3xx (重定向)
重定向代码,也是常见的代码
300 (多种选择) 针对请求,服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作,或提供操作列表供请求者选择。
301 (永久移动) 请求的网页已永久移动到新位置。 服务器返回此响应(对 GET 或 HEAD 请求的响应)时,会自动将请求者转到新位置。
302 (临时移动) 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。
303 (查看其他位置) 请求者应当对不同的位置使用单独的 GET 请求来检索响应时,服务器返回此代码。
304 (未修改) 自从上次请求后,请求的网页未修改过。 服务器返回此响应时,不会返回网页内容。
305 (使用代理) 请求者只能使用代理访问请求的网页。 如果服务器返回此响应,还表示请求者应使用代理。
307 (临时重定向) 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。
4开头的http状态码表示请求出错
400 服务器不理解请求的语法。
401 请求要求身份验证。 对于需要登录的网页,服务器可能返回此响应。
403 服务器拒绝请求。
404 服务器找不到请求的网页。
405 禁用请求中指定的方法。
406 无法使用请求的内容特性响应请求的网页。
407 此状态代码与 401类似,但指定请求者应当授权使用代理。
408 服务器等候请求时发生超时。
409 服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。
410 如果请求的资源已永久删除,服务器就会返回此响应。
411 服务器不接受不含有效内容长度标头字段的请求。
412 服务器未满足请求者在请求中设置的其中一个前提条件。
413 服务器无法处理请求,因为请求实体过大,超出服务器的处理能力。
414 请求的 URI(通常为网址)过长,服务器无法处理。
415 请求的格式不受请求页面的支持。
416 如果页面无法提供请求的范围,则服务器会返回此状态代码。
417 服务器未满足”期望”请求标头字段的要求。
5开头状态码并不常见,但是我们应该知道
500 (服务器内部错误) 服务器遇到错误,无法完成请求。
501 (尚未实施) 服务器不具备完成请求的功能。 例如,服务器无法识别请求方法时可能会返回此代码。
502 (错误网关) 服务器作为网关或代理,从上游服务器收到无效响应。
503 (服务不可用) 服务器目前无法使用(由于超载或停机维护)。 通常,这只是暂时状态。
504 (网关超时) 服务器作为网关或代理,但是没有及时从上游服务器收到请求。
505 (HTTP 版本不受支持) 服务器不支持请求中所用的 HTTP 协议版本。
python 爬虫 ip池怎么做
Python爬虫采集信息都是采用IP进行更改,不然就不能快速的爬取信息,可以加入采用这类方式,就失去了快速抓取的意义。
所以,如果要大批量的抓取信息,就不能避免的使用IP池,针对Python爬虫使用的IP池,是如何搭建起来的呢?接下来和大家说明一下如何建爬虫IP池的问题。
第一步:找IP资源
IP资源并不丰富,换句话说是供不应求的,因此一般是使用动态IP。
免费方法,直接在网络上找,在搜索引擎中一搜索特别多能够提供IP资源的网站,进行采集即可。
付费方法,通过购买芝麻代理上的IP资源,并进行提取,搭建IP池。
第二步,检测可用IP保存
提取到的IP,可以进一步进行检测是否可用,比如访问某个固定的网站,找出访问成功的IP进行保存。
第三步,随机调用IP
在爬虫需要使用IP时,可用读取保存IP的文件,进行随机调用IP。
本文介绍了如何建爬虫的IP池方法,可以说搭建IP池很容易,可有些IP的时效性很短,使用之前还可以再测试一次的。如果考虑免费IP,那么对于IP的效果性要做好心理准备的。
如何使用Python实现爬虫代理IP池
第一步:找IP资源
IP资源并不丰富,换句话说是供不应求的,因此一般是使用动态IP。
免费方法,直接在网络上找,在搜索引擎中一搜索特别多能够提供IP资源的网站,进行采集即可。
付费方法,通过购买芝麻ip上的IP资源,并进行提取,搭建IP池。
第二步,检测可用IP保存。提取到的IP,可以进一步进行检测是否可用,比如访问某个固定的网站,找出访问成功的IP进行保存。
第三步,随机调用IP
在爬虫需要使用IP时,可用读取保存IP的文件,进行随机调用IP。
本文介绍了如何建爬虫的IP池方法,可以说搭建IP池很容易,可有些IP的时效性很短,使用之前还可以再测试一次的。
python中,进行爬虫抓取怎么样能够使用代理IP?
网络数据量越来越大,从网页中获取信息变得越来越困难,如何有效地抓取并利用信息,已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。
1. 利用爬虫脚本每天定时爬取代理网站上的ip,写入MongoDB或者其他的数据库中,这张表作为原始表。
2. 使用之前需要做一步测试,就是测试这个ip是否有效,方法就是利用curl访问一个网站查看返回值,需要创建一张新表,循环读取原始表有效则插入,验证之后将其从原始表中删除,验证的同时能够利用响应时间来计算这个ip的质量,和最大使用次数,有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。
3. 把有效的ip写入ip代理池的配置文件,重新加载配置文件。
4.让爬虫程序去指定的dailiy的服务ip和端口,进行爬取。
不能通过外网ip访问自己用python自带库建立的web服务器,内网ip却可以,求解
这个和python写的代码没有关系这个需要路由器映射到你那个web服务器上吧