您的位置:

python爬虫二,python爬虫二级页面

本文目录一览:

Python爬虫笔记(二)requests模块get,post,代理

  import requests

  base_url = ''

  response = requests.get(base_url)

        url=请求url,

        headers =请求头字典,

        params = 请求参数字典。

        timeout = 超时时长,

    )----response对象

  服务器响应包含:状态行(协议,状态码)、响应头,空行,响应正文

    字符串格式:response.text

    bytes类型:response.content

        response.headers['cookie']

    response.text获取到的字符串类型的响应正文,

    其实是通过下面的步骤获取的:

        response.text = response.content.decode(response.encoding)

    产生的原因:编码和解码的编码格式不一致造成的。

        str.encode('编码')---将字符串按指定编码解码成bytes类型

        bytes.decode('编码')---将bytes类型按指定编码编码成字符串。

    a、response.content.decode('页面正确的编码格式')

        meta http-equiv="content-type" content="text/html;charset=utf-8"

    b、找到正确的编码,设置到response.encoding中

        response.encoding = 正确的编码

        response.text---正确的页面内容。

  a、没有请求参数的情况下,只需要确定url和headers字典。

  b、get请求是有请求参数。

    在chrome浏览器中,下面找query_string_params,

    将里面的参数封装到params字典中。

  c、分页主要是查看每页中,请求参数页码字段的变化,

  找到变化规律,用for循环就可以做到分页。

  requests.post(

    url=请求url,

    headers = 请求头字典,

    data=请求数据字典

    timeout=超时时长

  )---response对象

  post请求一般返回数据都是json数据。

(1)response.json()---json字符串所对应的python的list或者dict

(2)用 json 模块。

    json.loads(json_str)----json_data(python的list或者dict)

    json.dumps(json_data)---json_str

  post请求能否成功,关键看**请求参数**。

  如何查找是哪个请求参数在影响数据获取?

  ---通过对比,找到变化的参数。

  变化参数如何找到参数的生成方式,就是解决这个ajax请求数据获取的途径。

**寻找的办法**有以下几种:

    (1)写死在页面。

    (2)写在js中。

    (3)请求参数是在之前的一条ajax请求的数据里面提前获取好的。

  代理形象的说,他是网络信息中转站。

  实际上就是在本机和服务器之间架了一座桥。

  a、突破自身ip访问现实,可以访问一些平时访问不到网站。

  b、访问一些单位或者团体的资源。

  c、提高访问速度。代理的服务器主要作用就是中转,

  所以一般代理服务里面都是用内存来进行数据存储的。

  d、隐藏ip。

    FTP代理服务器---21,2121

    HTTP代理服务器---80,8080

    SSL/TLS代理:主要用访问加密网站。端口:443

    telnet代理 :主要用telnet远程控制,端口一般为23

    高度匿名代理:数据包会原封不动转化,在服务段看来,就好像一个普通用户在访问,做到完全隐藏ip。

    普通匿名代理:数据包会做一些改动,服务器有可能找到原ip。

    透明代理:不但改动数据,还会告诉服务,是谁访问的。

    间谍代理:指组织或者个人用于记录用户传输数据,然后进行研究,监控等目的的代理。   

  proxies = {

    '代理服务器的类型':'代理ip'

  }

  response = requests.get(proxies = proxies)

  代理服务器的类型:http,https,ftp

  代理ip:

python爬虫需要学多久?

完全掌握Python参加培训需要4-6个月左右,如果单纯的入门的话1-2个月左右就差不多了。

Python爬虫就是使用Pythoni程序开发的网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文素引到数据库中,然后跳到另一个网站。

Python开发软件可根据其用途不同分为两种,一种是Python代码编辑器,一种是Python集成开发工具,两者的配合使用可以极大的提高Python开发人员的编程效率。

python爬虫如何二次爬取

一般利用用户的关注人和粉丝人去进行遍历,而遍历到下一层的用户时再去遍历这个用户的关注和粉丝列表,这样利用递归函数我们就能够爬取到大部分用户的信息。

在我的代码中,我的主要思路是先把所有用户的ID放入一个列表,然后遍历这个列表再分别去收集每个用户的信息。