本文目录一览：

• 1、大数据需要掌握哪些技能
• 2、Python培训哪里最好？
• 3、python 消费kafka 写入es 小记
• 4、如何在kafka-python和confluent-kafka之间做出选择
• 5、数据分析需要掌握哪些知识?
• 6、Python培训班一般都有什么上课内容?

大数据需要掌握哪些技能

大数据技术体系庞大，包括的知识较多

1、学习大数据首先要学习Java基础

Java是大数据学习需要的编程语言基础，因为大数据的开发基于常用的高级语言。而且不论是学hadoop，

2、学习大数据必须学习大数据核心知识

Hadoop生态系统;HDFS技术;HBASE技术;Sqoop使用流程;数据仓库工具HIVE;大数据离线分析Spark、Python语言;数据实时分析Storm;消息订阅分发系统Kafka等。

3、学习大数据需要具备的能力

数学知识，数学知识是数据分析师的基础知识。对于数据分析师，了解一些描述统计相关的内容，需要有一定公式计算能力，了解常用统计模型算法。而对于数据挖掘工程师来说，各类算法也需要熟练使用，对数学的要求是最高的。

4、学习大数据可以应用的领域

大数据技术可以应用在各个领域，比如公安大数据、交通大数据、医疗大数据、就业大数据、环境大数据、图像大数据、视频大数据等等，应用范围非常广泛。

Python培训哪里最好？

那么为了避免这种情况的出现，我们可以参照以下几种筛选方法，选出适合自己的培训机构。

一、看培训机构的品牌、信誉和历史

随着Python的火热，出现了很多新的Python培训机构。这些培训机构多是应市场的需求而出现，缺乏培训的经验积累和历史沉淀。培训机构品牌和信誉相当重要，这是给学员的首要保障。

二、千万要看讲师水平

Python培训的讲师选择是你必须要仔细分析的。不管是足够的工作经验，还是足够的教学经验都是必不可少的，缺一不可。

还有不少黑心培训学校为了节约成本，不管学生能否切实掌握Python开发技能，低价聘请新手Python开发者当讲师，或者让其他学科讲师现学Python充当讲师，耽误了无数学生的未来。

三、环境和氛围很重要

在选择培训课程时，不能简单地认为“贵的就是好的”。可能大家也知道“孟母三迁”的故事。而且，环境可以造就人，但也可能毁掉一个人。可见环境对大家的Python学习影响很大。

而且，如果没有良好的学习氛围，你还有心情学习下去吗?此外，你也可以要求Python培训机构提供试听的机会。

四、要看是否有实操机会

如果你参加了Python培训机构却只会理论，不懂实际操作，请问还有哪家公司会用你呢?因此实操项目对于学员来说尤为重要。

还有，项目实战一定要是根据企业用人需要研发的。如果都是在潮流之外的，甚至已经被淘汰的Python技术，学得再好又有什么用呢?

五、了解自身所需，不被价格左右

学员在选择培训机构前必须想清楚课程的设置是否适合自己，老师的经历是否能满足职业生涯发展或企业解决方案……主动考虑清楚而非被动地入座。

在选择培训机构时，不要受到培训费用的影响,贵的不一定是好的，相对便宜的也不一定是坏的，关键是是否适合自己的需要。

另外，题主还提到：不知道*男孩、*cto这两家怎么样，不知道两个是不是同一家。我只想说，一定要去实地考察，试学一两个星期看看。

这样你才能知道机构的学习氛围，老师是不是认真负责，才能真正了解自己是否适合从事Python方面的工作。

有些培训机构只重视临时利益，教学质量差，"一锤子交易"现象严峻。还有一些Python培训机构既没有标准化教材及教学方法，没有正规教师，更没有契合市场主流的培训课程。捣乱了市场秩序，也极大地影响了培训业的健康发展。

在这里，还想跟你说一点：正所谓“师傅领进门，修行靠个人”，所以如果你自己不花时间，不肯下功夫苦学，无论Python培训机构再怎么好，也不能保证你找到好工作。

python 消费kafka 写入es 小记

# -*- coding: utf8 -*-

# __author__ = '小红帽'

# Date: 2020-05-11

"""Naval Fate.

Usage:

        py_kafka_protobuf_consume.py --bootstrap-servers=host:port,host2:port2.. --groupId=groupId --topic=topic_name --es-servers=host:port --index=schema --type=doc --id=order_id

        py_kafka_protobuf_consume.py -h | --help

        py_kafka_protobuf_consume.py --version

Options:

        -h --help                                      打印帮助信息.

        --bootstrap_servers=host:port,host2:port2..  kafka servers

        --groupId=groupId                            kafka消费组

        --topic=topic_name                            topic名称

        --es-servers=host:port                        ES 地址

        --index=index_name                            ES 索引

        --type=doc ES type

        --id=order_id 指定id主键，快速更新

"""

import json

from kafka import KafkaConsumer

from docopt import docopt

from elasticsearch import Elasticsearch

from elasticsearch import helpers

class Kafka_consumer():

    def __init__(self,args):

        self.topic = args['--topic']

        self.bootstrapServers = args['--bootstrap-servers']

        self.groupId = args['--groupId']

        self.id = args['--id']

        self.es_host = args['--es-servers'].split(':')[0]

        self.es_port = args['--es-servers'].split(':')[1]

        self.es_index = args['--index']

        self.es_type = args['--type']

        self.consumer = KafkaConsumer(

            bootstrap_servers=self.bootstrapServers,

            group_id=self.groupId,

            enable_auto_commit = True,

            auto_commit_interval_ms=5000,

            consumer_timeout_ms=5000

        )

    def consume_data_es(self):

        while True:

            try:

                es = Elasticsearch([{'host': self.es_host, 'port': self.es_port}], timeout=3600)

                self.consumer.subscribe([self.topic])

                actions=[]

                for message in self.consumer:

                    if message is not None:

                        query = json.loads(message.value)['data'][0]

                        action = {

                            "_index": self.es_index,

                            "_type": self.es_type,

                            "_id": json.loads(message.value)['data'][0][self.id],

                            "_source": query

                        }

                        actions.append(action)

                        if len(actions) 50:

                            helpers.bulk(client=es, actions=actions)

                            print("插入es %s 条数据" % len(actions))

                            actions = []

                if len(actions) 0:

                    helpers.bulk(client=es, actions=actions)

                    print("等待超时时间，插入es %s 条数据" % len(actions))

                    actions=[]

            except BaseException as e:

                print(e)

if __name__ == '__main__':

    arguments = docopt(__doc__,version='sbin 1.0')

    consumer = Kafka_consumer(arguments)

    consumer.consume_data_es()

如何在kafka-python和confluent-kafka之间做出选择

kafka-python：蛮荒的西部

kafka-python是最受欢迎的Kafka Python客户端。我们过去使用时从未出现过任何问题，在我的《敏捷数据科学2.0》一书中我也用过它。然而在最近这个项目中，它却出现了一个严重的问题。我们发现，当以文档化的方式使用KafkaConsumer、Consumer迭代式地从消息队列中获取消息时，最终到达主题topic的由Consumer携带的消息通常会丢失。我们通过控制台Consumer的分析验证了这一点。

需要更详细说明的是，kafka-python和KafkaConsumer是与一个由SSL保护的Kafka服务（如Aiven Kafka）一同使用的，如下面这样：

kafka_consumer = KafkaConsumer(

topic,

enable_auto_commit=True,

group_id=group_id,

bootstrap_servers=config.kafka.host,

api_version=(0, 10),

security_protocol='SSL',

ssl_check_hostname=True,

ssl_cafile=config.kafka.ca_pem,

ssl_certfile=config.kafka.service_cert,

ssl_keyfile=config.kafka.service_key

)

for message in kafka_consumer:

application_message = json.loads(message.value.decode())

...

当以这样的推荐方式使用时，KafkaConsumer会丢失消息。但有一个变通方案，就是保留所有消息。这个方案是Kafka服务提供商Aiven support提供给我们的。它看起来像这样：

while True:

raw_messages = consumer.poll(timeout_ms=1000, max_records=5000)

for topic_partition, messages in raw_messages.items():

application_message = json.loads(message.value.decode())

...

虽然这个变通方案可能有用，但README中的方法会丢弃消息使我对其失去兴趣。所以我找到了一个替代方案。

confluent-kafka：企业支持

发现coufluent-kafka Python模块时，我感到无比惊喜。它既能做librdkafka的外封装，又非常小巧。librdkafka是一个用C语言写的kafka库，它是Go和.NET的基础。更重要的是，它由Confluent公司支持。我爱开源，但是当“由非正式社区拥有或支持”这种方式效果不行的时候，或许该考虑给替代方案印上公章、即该由某个公司拥有或支持了。不过，我们并未购买商业支持。我们知道有人会维护这个库的软件质量，而且可以选择买或不买商业支持，这一点真是太棒了。

用confluent-kafka替换kafka-python非常简单。confluent-kafka使用poll方法，它类似于上面提到的访问kafka-python的变通方案。

kafka_consumer = Consumer(

{

"api.version.request": True,

"enable.auto.commit": True,

"group.id": group_id,

"bootstrap.servers": config.kafka.host,

"security.protocol": "ssl",

"ssl.ca.location": config.kafka.ca_pem,

"ssl.certificate.location": config.kafka.service_cert,

"ssl.key.location": config.kafka.service_key,

"default.topic.config": {"auto.offset.reset": "smallest"}

}

)

consumer.subscribe([topic])

# Now loop on the consumer to read messages

running = True

while running:

message = kafka_consumer.poll()

application_message = json.load(message.value.decode())

kafka_consumer.close()

现在我们能收到所有消息了。我并不是说kafka-python工具不好，我相信社区会对它的问题做出反应并解决。但从现在开始，我会一直坚持使用confluent-kafka。

开源治理

开源是强大的，但是涉及到复杂的“大数据”和NoSQL工具时，通常需要有一家大公司在背后推动工具的开发。这样你就知道，如果那个公司可以使用工具，那么该工具应该拥有很好的基本功能。它的出现可能是非正式的，就像某公司发布类似FOSS的项目一样，但也可能是正式的，就像某公司为工具提供商业支持一样。当然，从另一个角度来看，如果一家与开源社区作对的公司负责开发某个工具，你便失去了控制权。你的意见可能无关紧要，除非你是付费客户。

理想情况是采取开源治理，就像Apache基金会一样，还有就是增加可用的商业支持选项。这对互联网上大部分的免费软件来说根本不可能。限制自己只使用那些公司盖章批准后的工具将非常限制你的自由。这对于一些商店可能是正确选择，但对于我们不是。我喜欢工具测试，如果工具很小，而且只专心做一件事，我就会使用它。

信任开源

对于更大型的工具，以上决策评估过程更为复杂。通常，我会看一下提交问题和贡献者的数量，以及最后一次commit的日期。我可能会问朋友某个工具的情况，有时也会在推特上问。当你进行嗅探检查后从Github选择了一个项目，即说明你信任社区可以产出好的工具。对于大多数工具来说，这是没问题的。

但信任社区可能存在问题。对于某个特定的工具，可能并没有充分的理由让你信任社区可以产出好的软件。社区在目标、经验和开源项目的投入时间方面各不相同。选择工具时保持审慎态度十分重要，不要让理想蒙蔽了判断。

数据分析需要掌握哪些知识?

数据分析要掌握主流的数据分析方法。

1、事件分析

可以根据用户在企业APP、网站、小程序等平台上的操作记录或是行为日志，来确定用户在平台上各个板块之间行为的规律和特点，通过商业智能BI数据分析，研究出用户的内心需求，对板块内容进行优化调整，一般会涉及浏览页面、点击元素、访问板块等。

2、热力图分析

和事件分析类似，热力图一般指用户访问企业网站、APP和小程序时，会在一些元素和板块进行停留，根据这些在元素和板块上的点击次数、点击率、访问次数、访问人数等，通过商业智能BI以高亮图形形式进行显示，可以方便识别用户行为，优化逻辑。

数据分析-派可数据商业智能BI

3、留存分析

留存一般在运营工作中比较常见，可以用来衡量企业提供的产品和服务是否对用户有足够的吸引力，让用户在接触或使用产品和服务后，能够继续保持活跃，成为忠实用户，一般会将次日留存率、7日留存率、次月留存率等作为标准，以商业智能作为分析工具。

4、对比分析

一般用到对比分析，通常是在选定的时间区域内，对比业务在不同情况下的差异，分析出业务是进行了增长还是发生了缩减的情况。

例如，上图中2021年9月的销量相比8月的销量有所减少，这时候就要深入分析为什么环比销量会减少，可以考虑调取今年3月和去年3月的产品生产数量，看看是不是生产环比下降，导致销量较少。同理，还可以把供应链、经销商、人流量等等都拿进行对比分析，确认到底是什么影响了销量。

数据分析-派可数据商业智能BI

Python培训班一般都有什么上课内容?

下面是Python全栈开发+人工智能的培训内容：

阶段一：Python开发基础

Python全栈开发与人工智能之Python开发基础知识学习内容包括：Python基础语法、数据类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等。

阶段二：Python高级编程和数据库开发

Python全栈开发与人工智能之Python高级编程和数据库开发知识学习内容包括：面向对象开发、Socket网络编程、线程、进程、队列、IO多路模型、Mysql数据库开发等。

阶段三：前端开发

Python全栈开发与人工智能之前端开发知识学习内容包括：Html、CSS、JavaScript开发、Jquerybootstrap开发、前端框架VUE开发等。

阶段四：WEB框架开发

Python全栈开发与人工智能之WEB框架开发学习内容包括：Django框架基础、Django框架进阶、BBS+Blog实战项目开发、缓存和队列中间件、Flask框架学习、Tornado框架学习、Restful API等。

阶段五：爬虫开发

Python全栈开发与人工智能之爬虫开发学习内容包括：爬虫开发实战。

阶段六：全栈项目实战

Python全栈开发与人工智能之全栈项目实战学习内容包括：企业应用工具学习、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。

阶段七：数据分析

Python全栈开发与人工智能之数据分析学习内容包括：金融量化分析。

阶段八：人工智能

Python全栈开发与人工智能之人工智能学习内容包括：机器学习、数据分析 、图像识别、自然语言翻译等。

阶段九：自动化运维开发

Python全栈开发与人工智能之自动化运维开发学习内容包括：CMDB资产管理系统开发、IT审计+主机管理系统开发、分布式主机监控系统开发等。

阶段十：高并发语言GO开发

Python全栈开发与人工智能之高并发语言GO开发学习内容包括：GO语言基础、数据类型与文件IO操作、函数和面向对象、并发编程等。