本文目录一览：
elk日志分析平台是什么意思
首字母为该管理系统三个主要软件：Elasticsearch、Logstash、Kibana。这三个并非该管理系统的全部组成，而且还可以添加Redis,kafka,filebeat等软件
它们各自的功能大概可以这样概述：E：实时分析、实时检索、海量存储，建立索引，以便日后快速查看、搜索、分析
L：数据流传输、日志结构化
K：分析统计、酷炫图表
传统的日志架构存在的以下若干缺点：
开发人员无权登录，经过运维周转费时费力
日志数据分散在多个系统，难以查找
日志数据量大，查询速度慢
一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据
数据不够实时
因此，需要日志分析产品，美国有Splunk，中国有日志易。也有更多的企业在使用开源产品，也就是题主说到的ELK。
如何使用python爬取知乎数据并做简单分析
一、使用的技术栈：
爬虫：python27 +requests+json+bs4+time
分析工具： ELK套件
开发工具：pycharm
数据成果简单的可视化分析
1.性别分布
0 绿色代表的是男性 ^ . ^
1 代表的是女性
-1 性别不确定
可见知乎的用户男性颇多。
二、粉丝最多的top30
粉丝最多的前三十名：依次是张佳玮、李开复、黄继新等等，去知乎上查这些人，也差不多这个排名，说明爬取的数据具有一定的说服力。
三、写文章最多的top30
四、爬虫架构
爬虫架构图如下：
说明：
选择一个活跃的用户（比如李开复）的url作为入口url.并将已爬取的url存在set中。
抓取内容，并解析该用户的关注的用户的列表url，添加这些url到另一个set中，并用已爬取的url作为过滤。
解析该用户的个人信息，并存取到本地磁盘。
logstash取实时的获取本地磁盘的用户数据，并给elsticsearchkibana和elasticsearch配合，将数据转换成用户友好的可视化图形。
五、编码
爬取一个url:
解析内容：
存本地文件：
代码说明：
* 需要修改获取requests请求头的authorization。
* 需要修改你的文件存储路径。
源码下载：点击这里，记得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何获取authorization
打开chorme，打开https : // www. zhihu .com/，
登陆，首页随便找个用户，进入他的个人主页，F12(或鼠标右键，点检查)七、可改进的地方
可增加线程池，提高爬虫效率
存储url的时候我才用的set(),并且采用缓存策略，最多只存2000个url，防止内存不够，其实可以存在redis中。
存储爬取后的用户我说采取的是本地文件的方式，更好的方式应该是存在mongodb中。
对爬取的用户应该有一个信息的过滤，比如用户的粉丝数需要大与100或者参与话题数大于10等才存储。防止抓取了过多的僵尸用户。
八、关于ELK套件
关于elk的套件安装就不讨论了，具体见官网就行了。网站：https : // www . elastic . co/另外logstash的配置文件如下：
从爬取的用户数据可分析的地方很多，比如地域、学历、年龄等等，我就不一一列举了。另外，我觉得爬虫是一件非常有意思的事情，在这个内容消费升级的年代，如何在广阔的互联网的数据海洋中挖掘有价值的数据，是一件值得思考和需不断践行的事情。
1.ELK 系统落地实践
ELK 是一般被称作日志分析系统，是三款开源软件的简称。通常在业务服务上线后我们会部署一套 ELK 系统，方便我们通过图形化界面直接查找日志，快速找到问题源并帮助解决问题。
Elasticsearch 代表 ELK 中的 E，通常简称为 ES 。它是一个分布式 RESTful 风格的搜索和数据分析引擎，提供非常多的功能包括存储，搜索以及分析数据。
具体的介绍可以查看官网：Elasticsearch（）。
Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据、格式化数据，然后将数据发送到相应的地方。
详细介绍请访问：Logstash（）。
Kibana 能够让我们使用可视化的方式操作 Elasticsearch 中的数据。
详细介绍请访问：Kibana（）。
工作流程如下：
Filebeat 定时监控并收集每个服务的日志信息；
Logstash 把格式化日志信息发送到 ES 中进行存储，同时发送到监控预警服务进行处理；
监控中心处理日志内容，配置相应策略通过邮件或者即时通讯方式告知开发人员；
Kibana 结合 ES 提供的搜索功能进行查询，使用 Kibana 自带的图表功能进行统计。
