本文目录一览：
- python分布式框架有哪些
- Python高性能分布式执行框架-Ray
- 一般Python的分布式计算用什么框架
- 最高效的python爬虫框架有几个
- Python的深度学习框架有哪些？
- 各位能不能给推荐一个python的分布式爬虫框架
python分布式框架有哪些
Dask是Python的分布式计算框架，它支持分布式的DataFrame，也就是pandas的DataFrame，二者接口完美兼容，但Dask是分布式计算的框架，可以支持内存无法装载的数据，进行计算，它也支持对一般的python程序进行分布式计算。是非常优秀的Python框架。本文主要介绍Dask的几种不同的调度器的使用。 Dask支持多种调度器，从单线程、多线程、多进程到本地分布式和集群分布式，各种调度器在不同情况下有不同的作用，本文来源于Dask官方文档的翻译，主要向大家介绍这五种调度器的使用情景和方式。最后提供了如何在不同情境下设置Dask调度器的方法。
Python高性能分布式执行框架-Ray
这是别人说的，咱也不敢说，咱也不敢问 ! 了解大致的逻辑就好.你只需要知道他超级牛逼,超级方便
安装就是简单的 pip install ray，需要提醒的就是ray现在只有linux编译版本, windows就别想着用了,为了这,我硬生生把开发环境从windows切到了linux.
首先来看一下最简单的Ray程序是如何编写的。
在Ray里，通过Python注解@ray.remote定义remote函数。使用此注解声明的函数都会自带一个默认的方法remote，通过此方法发起的函数调用都是以提交分布式任务的方式异步执行的，函数的返回值是一个对象id，使用ray.get内置操作可以同步获取该id对应的对象
参考:
- 高性能分布式执行框架——Ray
- 取代 Python 多进程！伯克利开源分布式框架 Ray
- 官方文档
- 基于python的高性能实时并行机器学习框架之Ray介绍
一般Python的分布式计算用什么框架
(1) 用什么语言都不能证明逼格，包括汇编，也包括lisp/haskell。 (2) 在适当的场合用适当的工具，解除耦合、减少重复、易于扩展才是对逼格的更高挑战。 比如有一组件对数据库有大量操作，我同事认为他要用C++模板元编程加上一些巧妙的设计模式来生成sql是逼格高的体现，我认为在这样的场景下至少要用上orm才能谈得上对逼格有要求。
最高效的python爬虫框架有几个
- Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。
- Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
- Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。
- newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。
- Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。
- Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。
- mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。
- selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。
- cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。
- PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。
Python的深度学习框架有哪些？
中公教育联合中科院专家打造的深度学习分八个阶段进行学习：
- 第一阶段AI概述及前沿应用成果介绍
- 深度学习的最新应用成果
- 单层/深度学习与机器学习
- 人工智能的关系及发展简
- 第二阶段神经网络原理及TensorFlow实战
- 梯度下降优化方法
- 前馈神经网络的基本结构和训练过程
- 反向传播算法
- TensorFlow开发环境安装
- “计算图”编程模型
- 深度学习中图像识别的操作原理
- 第三阶段循环神经网络原理及项目实战
- 语言模型及词嵌入
- 词嵌入的学习过程
- 循环神经网络的基本结构
- 时间序列反向传播算法
- 长短时记忆网络（LSTM）的基本结构
- LSTM实现语言模型
- 第四阶段生成式对抗网络原理及项目实战
- 生成式对抗网络（GAN）的基本结构和原理
- GAN的训练过程
- GAN用于图片生成的实现
- 第五阶段深度学习的分布式处理及项目实战
- 多GPU并行实现
- 分布式并行的环境搭建
- 分布式并行实现
- 第六阶段深度强化学习及项目实战
- 强化学习介绍
- 智能体Agent的深度决策机制（上）
- 智能体Agent的深度决策机制（中）
- 智能体Agent的深度决策机制（下）
- 第七阶段车牌识别项目实战
- 数据集介绍及项目需求分析
- OpenCV库介绍及车牌定位
- 车牌定位
- 车牌识别
- 学员项目案例评讲
- 第八阶段深度学习前沿技术简介
- 深度学习前沿技术简介
- 元学习
- 迁移学习等 详情查看深度学习。
各位能不能给推荐一个python的分布式爬虫框架
爬虫本质上不需要分布式。因为你要爬一个网站通常5-10个线程足够了，再多就是对网站压力测试了。 你只需要将任务分配到不同的机器上，然后各运行各自己的，结果合并一下就可以。 这个与nutch人map, reduse也没有什么差别。只是手工分，手工合并。当然也可以用脚本分，脚本合并，脚本远程启动。有一个远程控制模块，似乎叫rpy。很简单，很容易上手。可以远程控制一个模块。 数据库用postgresql不是很好。因为爬行结果放在关系型数据库里太吃力。特别是网页内容。通常是URL放在redis里。 内容放在文件系统里，你可以用hadoop+hdfs+thrift方案放在hadoop里。 如果使用了hadoop，就干脆模仿nutch的流程，把python脚本也交给hadoop去管理好了。 至于控制与通信这个都让hadoop来处理好了。 当然我个人觉着rpy方式更简单。 里面控制与通信都是现成的。10分钟就学会了。 还是回到原来的说法，大部分情况下，单机多线程跑爬虫足够用了。 不需要分布式。而且效率甚至比分布式更高。
