本文目录一览：
- 1、如何在大数据框架下,对大众点评网的客户评价进行挖掘
- 2、matplotlib哪个版本好
- 3、用Python爬取大众点评时被反爬ip被封怎么办，他总叫我滑动验证但滑动了也没有用。。。求大佬帮忙。。。
如何在大数据框架下,对大众点评网的客户评价进行挖掘
爬取网页后从html页面中把需要的字段信息顾客id，评论时间，评分，评论内容，口味，环境，服务，店铺ID提取出来并存储到MYSQL数据库中。
我们发现完整的评论都存储在’div’，'main-review’中，且部分页面口味，环境，服务并不是每一页都有，因此需要使用tryexcept防止程序中断。
我们使用MYSQL数据库，安装教程参考菜鸟教程，python连接MYSQL数据推荐使用pymysql，同样是推荐菜鸟教程菜鸟教程。我们需要先建立一个数据库和表，然后连接并定义游标，然后写对应的sql语句，最后执行事务。
matplotlib哪个版本好
3.3.4。根据查询大众点评可知，matplotlib3.3.4版本好。Matplotlib是一个Python的2D绘图库，其以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。
用Python爬取大众点评时被反爬ip被封怎么办，他总叫我滑动验证但滑动了也没有用。。。求大佬帮忙。。。
1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。
第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。
2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。
3、建立IP池，池子尽可能的大，且不同IP均匀轮换。
如果你需要大量爬取数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。
