本文目录一览：
值得收藏的Python第三方库
网络站点爬取
爬取网络站点的库Scrapy – 一个快速高级的屏幕爬取及网页采集框架。cola – 一个分布式爬虫框架。Demiurge – 基于PyQuery 的爬虫微型框架。feedparser – 通用 feed 解析器。Grab – 站点爬取框架。MechanicalSoup – 用于自动和网络站点交互的 Python 库。portia – Scrapy 可视化爬取。pyspider – 一个强大的爬虫系统。RoboBrowser – 一个简单的，Python 风格的库，用来浏览网站，而不需要一个独立安装的浏览器。
交互式解析器
交互式 Python 解析器。
IPython – 功能丰富的工具，非常有效的使用交互式 Python。
bpython- 界面丰富的 Python 解析器。
ptpython – 高级交互式Python解析器， 构建于python-prompt-toolkit 之上。
图像处理
用来操作图像的库.
pillow – Pillow 是一个更加易用版的 PIL。
hmap – 图像直方图映射。
imgSeek – 一个使用视觉相似性搜索一组图片集合的项目。
nude.py – 裸体检测。
pyBarcode – 不借助 PIL 库在 Python 程序中生成条形码。
pygram – 类似 Instagram 的图像滤镜。
python-qrcode – 一个纯 Python 实现的二维码生成器。
Quads – 基于四叉树的计算机艺术。
scikit-image – 一个用于（科学）图像处理的 Python 库。
thumbor – 一个小型图像服务，具有剪裁，尺寸重设和翻转功能。
wand – MagickWand的Python 绑定。MagickWand 是 ImageMagick的 C API 。
HTTP
使用HTTP的库。
requests – 人性化的HTTP请求库。
grequests – requests 库 + gevent ，用于异步 HTTP 请求.
httplib2 – 全面的 HTTP 客户端库。
treq – 类似 requests 的Python API 构建于 Twisted HTTP 客户端之上。
urllib3 – 一个具有线程安全连接池，支持文件 post，清晰友好的 HTTP 库。
数据库
Python实现的数据库。
pickleDB – 一个简单，轻量级键值储存数据库。
PipelineDB – 流式 SQL 数据库。
TinyDB – 一个微型的，面向文档型数据库。
ZODB – 一个 Python 原生对象数据库。一个键值和对象图数据库。
Web 框架
全栈 web 框架。
Django – Python 界最流行的 web 框架。
awesome-django系列
Flask – 一个 Python 微型框架。
系列
Pyramid – 一个小巧，快速，接地气的开源Python web 框架。
awesome-pyramid系列
Bottle – 一个快速小巧，轻量级的 WSGI 微型 web 框架。
CherryPy – 一个极简的 Python web 框架，服从 HTTP/1.1 协议且具有WSGI 线程池。
TurboGears – 一个可以扩展为全栈解决方案的微型框架。
web.py – 一个 Python 的 web 框架，既简单，又强大。
web2py – 一个全栈 web 框架和平台，专注于简单易用。
Tornado – 一个web 框架和异步网络库。
HTML处理
处理 HTML和XML的库。
BeautifulSoup – 以 Python 风格的方式来对 HTML 或 XML 进行迭代，搜索和修改。
bleach – 一个基于白名单的 HTML 清理和文本链接库。
cssutils – 一个 Python 的 CSS 库。
html5lib – 一个兼容标准的 HTML 文档和片段解析及序列化库。
lxml – 一个非常快速，简单易用，功能齐全的库，用来处理 HTML 和 XML。
MarkupSafe – 为Python 实现 XML/HTML/XHTML 标记安全字符串。
pyquery – 一个解析 HTML 的库，类似 jQuery。
untangle – 将XML文档转换为Python对象，使其可以方便的访问。
xhtml2pdf – HTML/CSS 转 PDF 工具。
xmltodict – 像处理 JSON 一样处理 XML。
游戏开发
超赞的游戏开发库。
Cocos2d – cocos2d 是一个用来开发 2D 游戏， 示例和其他图形/交互应用的框架。基于 pyglet。
Panda3D – 由迪士尼开发的 3D 游戏引擎，并由卡内基梅陇娱乐技术中心负责维护。使用C++编写, 针对 Python 进行了完全的封装。
Pygame – Pygame 是一组 Python 模块，用来编写游戏。
PyOgre – Ogre 3D 渲染引擎的 Python 绑定，可以用来开发游戏和仿真程序等任何 3D 应用。
PyOpenGL – OpenGL 的 Python 绑定及其相关 APIs。
PySDL2 – SDL2 库的封装，基于 ctypes。
RenPy – 一个视觉小说（visual novel）引擎。
Python中数据收集不可不知的库！
1. Scrapy
要想编写一个Python网络爬虫来从网页上提取信息，Scrapy可能是大部分人第一个想到的Python库。
例如，使用者可以提取某城市所有餐厅的评论或是收集网购网站上某一种产品的所有评论。
对于该库最常见的用法是利用它来识别出现在网站页面上那些有趣的信息模式，无论这些信息是以URL的形式出现还是以XPath的形式出现。
一旦理清了这些信息的模式，Scrapy就可以协助使用者自动提取所需信息，并将其整理为表格或JSON格式的数据结构。
使用pip即可轻松安装Scrapy。
2. Selenium
Selenium设计者的初衷是将其打造成一个自动网站测试框架，但开发者们发现将其用作网页数据抓取工具的效果更佳。
使用者在感兴趣的网站上已经进行了交互行为之后，Selenium一般能派上用场。
比如说，使用者可能需要在网站上注册一个账户，登陆自己的账户，再点击几个按钮或是链接才能找到自己想要的内容。
上述链接被定义为JavaScript函数。在这一情况下，要应用Scrapy或者Beautiful Soup可能都不是很便捷，但使用Selenium就可以轻而易举地完成这一过程。
但应当注意，Selenium比普通的抓取库运行速度要慢得多。这是因为Selenium会将Chrome这样的浏览器初始化并模拟浏览器代码定义的所有行为。
因此，在处理URL模式或Xpaths时，最好还是使用Scrapy或者Beautiful Soup，不到万不得已不要使用Selenium。
3. BeautifulSoup
Beautiful Soup是另一个可以用来收集网站内容的Python库。业界普遍认为，学习BeautifulSoup所需时间比学习Scrapy所需时间要短很多。
除此之外，Beautiful Soup更适合应用于规模相对较小的问题或一次性的任务。
Scrapy要求使用者开发自己的“爬虫”并通过命令行进行操作，而使用Beautiful Soup只需将其功能导入计算机中并联机使用即可。因此，使用者甚至可以将Beautiful Soup应用于自己的Jupyternotebook。
更多Python知识，请关注Python视频教程！！
python库有哪些
Python比较常见的库有：Arrow、Behold、Click、Numba、Matlibplot、Pillow等：
1、Arrow
Python中处理时间的库有datetime，但是它过于简单，使用起来不够方便和智能，而Arrow可以说非常的方便和智能。它可以轻松地定位几个小时之前的时间，可以轻松转换时区时间，对于一个小时前，2个小时之内这样人性化的信息也能够准确解读。
2、Behold
调试程序是每个程序员必备的技能，对于脚本语言，很多人习惯于使用print进行调试，然而对于大项目来说，print的功能还远远不足，我们希望有一个可以轻松使用，调试方便，对变量监视完整，格式已于查看的工具，而Behold就是那个非常好用的调试库。
3、Click
现在几乎所有的框架都有自己的命令行脚手架，Python也不例外，那么如何快速开发出属于自己的命令行程序呢?答案就是使用Python的Click库。Click库对命令行api进行了大量封装，你可以轻松开发出属于自己的CLI命令集。终端的颜色，环境变量信息，通过Click都可以轻松进行获取和改变。
4、Numba
如果你从事数学方面的分析和计算，那么Numba一定是你必不可少的库。Numpy通过将高速C库包装在Python接口中来工作，而Cython使用可选的类型将Python编译为C以提高性能。但是Numba无疑是最方便的，因为它允许使用装饰器选择性地加速Python函数。
5、Matlibplot
做过数据分析，数据可视化的数学学生一定知道matlab这个软件，这是一个收费的数学商用软件，在Python中，Matlibplot就是为了实现这个软件中功能开发的第三方Python库。并且它完全是免费的，很多学校都是用它来进行数学教学和研究的。
6、Pillow
图像处理是任何时候我们都需要关注的问题，平时我们看到很多ps中的神技，比如调整画面颜色，饱和度，调整图像尺寸，裁剪图像等等，这些其实都可以通过Python简单完成，而其中我们需要使用的库就是Pillow。
7、pyqt5
Python是可以开发图形界面程序的。而pyqt就是一款非常好用的第三方GUI库，有了它，你可以轻松开发出跨平台的图形应用程序，其中qtdesigner设计器，更是加速了我们开发图形界面的速度。
除了上述介绍的之外，Python还有很多库，比如：Pandas、NumPy、SciPy、Seaborn、Keras等。
13个最常用的Python深度学习库介绍
13个最常用的Python深度学习库介绍
如果你对深度学习和卷积神经网络感兴趣，但是并不知道从哪里开始，也不知道使用哪种库，那么这里就为你提供了许多帮助。
在这篇文章里，我详细解读了9个我最喜欢的Python深度学习库。
这个名单并不详尽，它只是我在计算机视觉的职业生涯中使用并在某个时间段发现特别有用的一个库的列表。
这其中的一些库我比别人用的多很多，尤其是Keras、mxnet和sklearn-theano。
其他的一些我是间接的使用，比如Theano和TensorFlow（库包括Keras、deepy和Blocks等）。
另外的我只是在一些特别的任务中用过（比如nolearn和他们的Deep Belief Network implementation）。
这篇文章的目的是向你介绍这些库。我建议你认真了解这里的每一个库，然后在某个具体工作情境中你就可以确定一个最适用的库。
我想再次重申，这份名单并不详尽。此外，由于我是计算机视觉研究人员并长期活跃在这个领域，对卷积神经网络（细胞神经网络）方面的库会关注更多。
我把这个深度学习库的列表分为三个部分。
第一部分是比较流行的库，你可能已经很熟悉了。对于这些库，我提供了一个通俗的、高层次的概述。然后，针对每个库我详细解说了我的喜欢之处和不喜欢之处，并列举了一些适当的应用案例。
第二部分进入到我个人最喜欢的深度学习库，也是我日常工作中使用最多的，包括：Keras、mxnet和sklearn-theano等。
最后，我对第一部分中不经常使用的库做了一个“福利”板块，你或许还会从中发现有用的或者是在第二板块中我还没有尝试过但看起来很有趣的库。
接下来就让我们继续探索。
针对初学者：
Caffe
提到“深度学习库”就不可能不说到Caffe。事实上，自从你打开这个页面学习深度学习库，我就敢打保票你肯定听说Caffe。
那么，究竟Caffe是什么呢？
Caffe是由Berkeley Vision and Learning Center（BVLC）建立的深度学习框架。它是模块化的，速度极快。而且被应用于学术界和产业界的start-of-the-art应用程序中。
事实上，如果你去翻阅最新的深度学习出版物（也提供源代码），你就很可能会在它们相关的GitHub库中找到Caffe模型。
虽然Caffe本身并不是一个Python库，但它提供绑定到Python上的编程语言。我们通常在新领域开拓网络的时候使用这些绑定。
我把Caffe放在这个列表的原因是它几乎被应用在各个方面。你可以在一个空白文档里定义你的模型架构和解决方案，建立一个JSON文件类型的.prototxt配置文件。Caffe二进制文件提取这些.prototxt文件并培训你的网络。Caffe完成培训之后，你可以把你的网络和经过分类的新图像通过Caffe二进制文件，更好的就直接通过Python或MATLAB的API。
虽然我很喜欢Caffe的性能（它每天可以在K40 GPU上处理60万张图片），但相比之下我更喜欢Keras和mxnet。
主要的原因是，在.prototxt文件内部构建架构可能会变得相当乏味和无聊。更重要的是， Caffe不能用编程方式调整超参数！由于这两个原因，在基于Python的API中我倾向于对允许我实现终端到终端联播网的库倾斜（包括交叉验证和调整超参数）。
Theano
在最开始我想说Theano是美丽的。如果没有Theano，我们根本不会达到现有的深度学习库的数量（特别是在Python）。同样的，如果没有numpy，我们就不会有SciPy、scikit-learn和 scikit-image,，同样可以说是关于Theano和深度学习更高级别的抽象。
非常核心的是，Theano是一个Python库，用来定义、优化和评估涉及多维数组的数学表达式。 Theano通过与numpy的紧密集成，透明地使用GPU来完成这些工作。
虽然可以利用Theano建立深度学习网络，但我倾向于认为Theano是神经网络的基石，同样的numpy是作为科学计算的基石。事实上，大多数我在文章中提到的库都是围绕着Theano，使自己变得更加便利。
不要误会我的意思，我爱Theano，我只是不喜欢用Theano编写代码。
在Theano建设卷积神经网络就像只用本机Python中的numpy写一个定制的支持向量机（SVM），当然这个对比并不是很完美。
你可以做到吗？
当然可以。
它值得花费您的时间和精力吗？
嗯，也许吧。这取决于你是否想摆脱低级别或你的应用是否需要。
就个人而言，我宁愿使用像Keras这样的库，它把Theano包装成更有人性化的API，同样的方式，scikit-learn使机器学习算法工作变得更加容易。
TensorFlow
与Theano类似，TensorFlow是使用数据流图进行数值计算的开源库（这是所有神经网络固有的特征）。最初由谷歌的机器智能研究机构内的Google Brain Team研究人员开发，此后库一直开源，并提供给公众。
相比于Theano ，TensorFlow的主要优点是分布式计算，特别是在多GPU的环境中（虽然这是Theano正在攻克的项目）。
除了用TensorFlow而不是Theano替换Keras后端，对于TensorFlow库我并没有太多的经验。然而在接下来的几个月里，我希望这有所改变。
Lasagne
Lasagne是Theano中用于构建和训练网络的轻量级库。这里的关键词是轻量级的，也就意味着它不是一个像Keras一样围绕着Theano的重包装的库。虽然这会导致你的代码更加繁琐，但它会把你从各种限制中解脱出来，同时还可以让您根据Theano进行模块化的构建。
简而言之：Lasagne的功能是Theano的低级编程和Keras的高级抽象之间的一个折中。
我最喜欢的：
Keras
如果我必须选出一个最喜欢的深度学习Python库，我将很难在Keras和mxnet中做出抉择——但最后，我想我会选Keras。
说真的，Keras的好处我说都说不完。
Keras是一个最低限度的、模块化的神经网络库，可以使用Theano或TensorFlow作为后端。Keras最主要的用户体验是，从构思到产生结果将会是一个非常迅速的过程。
在Keras中架构网络设计是十分轻松自然的。它包括一些state-of-the-art中针对优化（Adam，RMSProp）、标准化（BatchNorm）和激活层（PReLU，ELU，LeakyReLU）最新的算法。
Keras也非常注重卷积神经网络，这也是我十分需要的。无论它是有意还是无意的，我觉得从计算机视觉的角度来看这是非常有价值的。
更重要的是，你既可以轻松地构建基于序列的网络（其中输入线性流经网络）又可以创建基于图形的网络（输入可以“跳过”某些层直接和后面对接）。这使得创建像GoogLeNet和SqueezeNet这样复杂的网络结构变得容易得多。
我认为Keras唯一的问题是它不支持多GPU环境中并行地训练网络。这可能会也可能不会成为你的大忌。
如果我想尽快地训练网络，那么我可能会使用mxnet。但是如果我需要调整超参数，我就会用Keras设置四个独立的实验（分别在我的Titan X GPUs上运行）并评估结果。
mxnet
我第二喜欢的深度学习Python库无疑就是mxnet（重点也是训练图像分类网络）。虽然在mxnet中站立一个网络可能需要较多的代码，但它会提供给你惊人数量的语言绑定（C ++、Python、R、JavaScript等）。
Mxnet库真正出色的是分布式计算，它支持在多个CPU / GPU机训练你的网络，甚至可以在AWS、Azure以及YARN集群。
它确实需要更多的代码来设立一个实验并在mxnet上运行（与Keras相比），但如果你需要跨多个GPU或系统分配训练，我推荐mxnet。
sklearn-theano
有时候你并不需要终端到终端的培养一个卷积神经网络。相反，你需要把CNN看作一个特征提取器。当你没有足够的数据来从头培养一个完整的CNN时它就会变得特别有用。仅仅需要把你的输入图像放入流行的预先训练架构，如OverFeat、AlexNet、VGGNet或GoogLeNet，然后从FC层提取特征（或任何您要使用的层）。
总之，这就是sklearn-theano的功能所在。你不能用它从头到尾的训练一个模型，但它的神奇之处就是可以把网络作为特征提取器。当需要评估一个特定的问题是否适合使用深度学习来解决时，我倾向于使用这个库作为我的第一手判断。
nolearn
我在PyImageSearch博客上用过几次nolearn，主要是在我的MacBook Pro上进行一些初步的GPU实验和在Amazon EC2 GPU实例中进行深度学习。
Keras把 Theano和TensorFlow包装成了更具人性化的API，而nolearn也为Lasagne做了相同的事。此外，nolearn中所有的代码都是与scikit-learn兼容的，这对我来说绝对是个超级的福利。
我个人不使用nolearn做卷积神经网络（CNNs），但你当然也可以用（我更喜欢用Keras和mxnet来做CNNs）。我主要用nolearn来制作Deep Belief Networks (DBNs)。
DIGITS
DIGITS并不是一个真正的深度学习库（虽然它是用Python写的）。DIGITS（深度学习GPU培训系统）实际上是用于培训Caffe深度学习模式的web应用程序（虽然我认为你可以破解源代码然后使用Caffe以外其他的后端进行工作，但这听起来就像一场噩梦）。
如果你曾经用过Caffe，那么你就会知道通过它的终端来定义.prototxt文件、生成图像数据、运行网络并监管你的网络训练是相当繁琐的。 DIGITS旨在通过让你在浏览器中执行这些任务来解决这个问题。
此外，DIGITS的用户界面非常出色，它可以为你提供有价值的统计数据和图表作为你的模型训练。另外，你可以通过各种输入轻松地可视化网络中的激活层。最后，如果您想测试一个特定的图像，您可以把图片上传到你的DIGITS服务器或进入图片的URL，然后你的Caffe模型将会自动分类图像并把结果显示在浏览器中。干净利落！
Blocks
说实话，虽然我一直想尝试，但截至目前我的确从来没用过Blocks（这也是我把它包括在这个列表里的原因）。就像许多个在这个列表中的其他库一样，Blocks建立在Theano之上，呈现出一个用户友好型的API。
deepy
如果让你猜deepy是围绕哪个库建立的，你会猜什么？
没错，就是Theano。
我记得在前一段时间用过deepy（做了初始提交），但在接下里的大概6-8个月我都没有碰它了。我打算在接下来的博客文章里再尝试一下。
pylearn2
虽然我从没有主动地使用pylearn2，但由于历史原因，我觉得很有必要把它包括在这个列表里。 Pylearn2不仅仅是一般的机器学习库（地位类似于scikit-learn），也包含了深度学习算法的实现。
对于pylearn2我最大的担忧就是（在撰写本文时），它没有一个活跃的开发者。正因为如此，相比于像Keras和mxnet这样的有积极维护的库，推荐pylearn2我还有些犹豫。
Deeplearning4j
这本应是一个基于Python的列表，但我想我会把Deeplearning4j包括在这里，主要是出于对他们所做事迹的无比崇敬——Deeplearning4j为JVM建立了一个开源的、分布式的深度学习库。
如果您在企业工作，你可能会有一个塞满了用过的Hadoop和MapReduce服务器的储存器。也许这些你还在用，也许早就不用了。
你怎样才能把这些相同的服务器应用到深度学习里？
事实证明是可以的——你只需要Deeplearning4j。
总计
以上就是本文关于13个最常用的Python深度学习库介绍的全部内容
