本文目录一览：
- 1、几种常用算法的Python实现
- 2、支持向量机—从推导到python手写
- 3、#Python干货#python实现——最优化算法
- 4、Python 算法
- 5、python的思维逻辑怎么样？
- 6、有哪些用 Python 语言讲算法和数据结构的书
几种常用算法的Python实现
既然是常用算法，网上肯定有大量代码~ 但是还是建议自己打一遍，然后深入了解~抄书谁都会，但是能理解并记忆深刻，就不是每个人能都坚持做到的。
支持向量机—从推导到python手写
笔者比较懒能截图的地方都截图了。
支持向量机分为三类：
（1）线性可分支持向量机，样本线性可分，可通过硬间隔最大化训练一个分类器。
（2）线性支持向量机，样本基本线性可分，可通过软间隔最大化训练一个分类器。
（3）非线性支持向量机，样本线性不可分，可通过核函数和软间隔最大化训练一个分类器。
上面最不好理解的恐怕就是硬间隔和软间隔了，
说白了硬间隔就是说存在这么一个平面，可以把样本完全正确无误的分开，当然这是一种极理想的情况，现实中不存在，所以就有了软间隔。
软间隔说的是，不存在一个平面可以把样本完全正确无误的分开，因此呢允许一些样本被分错，怎么做呢就是加入松弛变量，因为希望分错的样本越小越好，因此松弛变量也有约束条件。加入松弛变量后，问题就变为线性可分了，因为是每一个样本都线性可分，因此松弛变量是针对样本的，每一个样本都对应一个不同的松弛变量。
其实感知机说白了就是找到一条直线把样本点分开，就是上方都是一类，下方是另一类。当然完全分开是好事，往往是不能完全分开的，因此就存在一个损失函数，就是误分类点到这个平面的距离最短：
这里啰嗦一句，误分类点y*(wx+b)0，所以加个负号在前边。
一般情况下||w||都是可以缩放，那么我们把它缩放到1，最后的目标函数就变成了
间隔就是距离，我们假设分离超平面为 ，那么样本点到这个平面的距离可以记为 。我们都知道通过感知机划分的点，超平面上方的点 ，下方的点 ，然后通过判断 的值与y的符号是否一致来判断分类是否正确。根据这个思路函数间隔定义为：
支持向量的定义来源于几何间隔，几何间隔最直接的解释是离分隔超平面最近点的距离，其他任何点到平面的距离都大于这个值，所以几何间隔就是支持向量。然后呢同样道理，w和b是可以缩放的，所以定义支持向量满足如下条件：
再通俗一点说，支持向量是一些点，这些点到分隔平面的距离最近，为了便于表示，把他们进行一下缩放计算，让他们满足了wx+b=+-1.
核函数是支持向量机的核心概念之一，它存在的目的就是将维度转换之后的计算简化，达到减少计算量的目的。我们都知道支持向量机求的是间距最大化，通常情况下我们求得的alpha都等于0，因此支持向量决定了间距最大化程度。
核函数的形式是这样的
其中x(i)和x(j)都是向量，他们两个相乘就是向量内积，相乘得到一个数。刚才说了目标函数一般只和支持向量有关，因此在做核函数计算之前，实际就是选择的支持向量进行计算。
这个写完下面得再补充
我们知道了支持向量的概念，那么支持向量机的目标函数是要使这两个支持向量之间的距离尽可能的远，因为这样才能更好地把样本点分开，当然支持向量也要满足最基本的约束条件，那就是分类正确，还有就是其他点到分隔平面的距离要大于等于支持向量到分隔平面的距离。
这种凸优化问题都可以通过拉格朗日算子进行优化，就是把约束条件通过拉格朗日系数放到目标函数上。这部分基础知识，就是拉格朗日算法可以将等式约束和不等式约束都加到目标函数上，完成求解问题的转换，但是要满足一些约束条件，也就是我们后边要说的kkt条件。
这里有个细节就是转换时候的加减号问题，这个和目标函数还有约束的正负号有关。一般这么理解，就是求最小化问题时候，如果约束是大于0的，那么拉个朗日算子可以减到这一部分，这样一来目标函数只能越来越小，最优解就是约束为0的时候，这个时候和没有约束的等价，再求最小就是原问题了。
这里是最小化问题，直接减掉这部分约束，然后后半部分永远大于等于0所以这个式子的值是要小于原来目标函数值的。我们知道当x满足原问题的约束条件的时候，最大化L就等于那个原目标函数。所以我们可以把这个问题转化为：
把它带回去原来的目标函数中，整理一下。
这个时候只要求最优的α，就可以求出w和b了。我们上边做了那么一堆转换，这个过程要满足一个叫做kkt条件的东西，其实这个东西就是把一堆约束条件整理到一起。
（1）原有问题的可行性，即h(x )=0,g(x )0
放到这里就是：
SMO算法的核心思想是求出最优化的α，然后根据之前推导得到的w,b,α之间的关系计算得到w和b，最后的计算公式是：
现在的问题就是怎么求α了。
SMO算法总共分两部分，一部分是求解两个α的二次规划算法，另一部分是选择两个α的启发式算法。
先说这个选择α的启发式算法部分：大神可以证明优先优化违反kkt条件的α可以最快获得最优解，至于咋证明的，就先不看了。
在讲支持向量机的求解算法时候，直接给出了核函数K，那么怎么去理解核函数呢。核函数的作用是解决样本点在高维空间的内积运算问题，怎么理解呢，通常的分类问题都是有很多个特征的，然后为了达到现线性可分，又会从低维映射到高维，样本量再一多计算量非常大，因此先通过函数进行一个转换，减少乘法的计算量。
要理解核函数，先理解内积运算，内积运算实际是两个向量，对应位置相乘加和，比如我有x1 = [v1,v2], x2=[w1,w2]，那么x1和x2的内积计算方法就是：v1w1+v2w2。
如果上面那种情况线性不可分，需要到高维进行映射，让数据变得线性可分，然后数据变为五维的，即v1 2+v2 2+v1+v2+v1v2，然后再进行一次内积计算，数据变为 。
稍作变换，可以变为 ，形式展开和上边那个长式子差不多，然后其实可以映射内积相乘的情况，所以可以进行核函数的变化。
问题在于，当你需要显式的写出来映射形式的时候，在维度很高的时候，需要计算的量太大，比如x1有三个维度，再进行映射就有19维度了，计算很复杂。如果用核函数，还是在原来低维度进行运算，既有相似的效果（映射到高维），又低运算量，这就是核函数的作用了。
核函数的种类：
这部分的核心在于SMO算法的编写。有待补充。
#Python干货#python实现——最优化算法
函数详见rres，此代码使该算法运行了两次
收获：
这是我第一个实现的代码。学习完该算法以后，逻辑框架基本上就有了，剩下需要明确的就是对应的python的语言。于是我就开始了查找“如何定义函数”（详见mofan的优酷），“循环体”和“if条件语句”的格式（）“数学符号”（详见mofan的优酷），以及print的使用
1.def是python中指定义，一般用来定义函数，如果需要深度学习搭建网络可用来定义网络。值得注意的一点是
我不清楚为什么，但是如果没有加的话，那个函数公式就是一个花瓶，就像一个结果输不出去。
2.最坑的就是逻辑。一开始逻辑没理清楚，或者说在代码上有疏漏，导致我将left和right放在了循环体里，结果可想而知。不过也是因为这个错误，我知道pycharm中的debug怎么用，挺简单的，百度一下就出来了。
3.不知道什么原因，看的莫烦视频中的print多个变量一起输出是没有办法在我的pycharm中使用的，出来的结果很奇怪。可能是因为我是win10不是ios吧。print如果多个变量一起输出必须是print("名字：%s,名字2：%s"%(a,b))结果输出就是名字：a ,名字2：b
关于python中数据变量。第一遍运行结果出现很明显不对，于是我采用了debug。结果发现，mid1处一直为1而不是1.5，于是就开始了解数据变量。起初我猜测python默认所有变量为整型，但是根据二分法的结果我意识到此猜测不对，所以要改整个file的变量格式没有必要。所以我就在mid1式子前面加了一个float，结果就显示为1.5了。但是如果我将整个式子用（）括起来，前面加float，结果还是1。我不太理解为什么。不过我知道了python的数据格式是根据输入量决定的，也就是说你的输入量如果是整型，那么与其直接相关的计算输出结果一定是整型，而且还是不采用进位的整型。在我没有采用+float/+.0这两种方法之前，mid1~3全部是整型。
或者不再mid1前面加float,直接将输入量后面点个点就行
真的很想吐槽一下print,好麻烦啊啊啊啊每次都得弄个%s,而且有时候还不能放一起！！！！
不要问我掌握了什么，要问我现在写完这个代码后有多么的爱python的精度表示 :-)我决定以后只要再编写数学公式的代码都将输入量的小数学点后面补很多0
fibonacci函数定义，每次debug后我的手都是抖的O( _ )O~
不知道自己什么时候有的强迫症，只要是代码下面有“~”我就必须要消掉。笑哭。这个很简单，前四个除了费波纳茨，都很简单。
这个公式看起来很麻烦，便写的时候更要谨慎。我上回把那个2搁在了分号下面，结果很大，所以还是换算成0.5更好（PS：勿忘那长河般的0）。
虽然代码很长，但是主要是因为print太多。本打算在开头print，最后结果会漏掉最后一部分。懒得想其他办法了，直接就这样吧
一开始while里面写成了,导致run不出来。继而，debug也没法用。在网上一查才知道 “没联网”+“没选断点”。最后想尝试将else里面的内容输出来，结果发现run以后被刷屏了。于是改成i7以后还是不行，于是想着加一个break跳出循环，结果成效了。
然后刚刚由debug了一下，才知道原来是i+1在if里面，因为没有办法+1，所以i=6一直存在，就不断循环。因为加break也好，i+1也好，都可以。
这是我第一组自己实现的python代码，就是数学公式用python语言组装起来。刚开始的时候知道大概需要在语言中体现什么，但不太清楚。于是我就在网上找了几个二分法的，他们都各有不同，但框架都差不多，不过如果要用到我们的那个公式里还需要改变很多。然后我就开始分析我们的题，我发现大体需要两部分，一部分函数定义，一部分循环体。但我不知道如何定义函数，如何写数学公式，如何弄变量，也就是说一些小点不太会，所以我选择直接百度。因为我知道自己阅读的能力不错，相比于从视频中提取要素，我更擅长通过阅读获得要点。有目的性地找知识点，掌握地更牢固。
于是我就开始了第一个——二分法的编写。我发现，自己出现了很多错误而且有很多地方都很基础。但我依然没选择视频，而是将这些问题直接在百度上找，因为视频讲完或许你也没找到点。当然，这是一步一步走的，不是直接就将程序摆上去，一点一点改。
随着前两个的成功，我发现自己对于这些代码有了自信，似乎看透了他们的伪装，抓住了本质。除此之外，我还意识到自己自从8月份以后，学习能力似乎提高了不少，而且有了更为有效的学习方法。各方面都有了一定的觉醒。除了第一个找了几个牛头不对马嘴的代码，其他都是根据自己的逻辑写，逻辑通下来以后，对应语言中某一部分不知道如何翻译就去百度，其实这几个套路都一样或者说数学公式转化的套路都一样。
我还意识到，汇编其实是最难的语言，目前为止所学到的，因为很多都需要自己去定义，去死抠，需要记住大量的指令且不能灵活变通。但是其他的却只需要将一些对应的记下来就好。python真的挺简单的。而且，我发现自己今天似乎打开了新世界的大门，我爱上了这种充满了灵性的东西，充满了严谨的美丽，还有那未知的变化，我发现我似乎爱上了代码。可能不仅仅局限于python，这些语言都充满了挑战性。我觉得当你疑惑的时候，就需要相信直觉，至少我发现它很准
Python 算法
什么是算法
“算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。”
“在谈到算法时，我们不得不去了解一下什么是时间复杂度和空间复杂度这两个概念”
计算机科学中，算法的时间复杂度是一个函数，它定量描述了该算法的运行时间,时间复杂度常用大O符号（大O符号（Big O notation）是用于描述函数渐进行为的数学符号。
空间复杂度：它是用来评估算法内存占用大小的一个式子。
Python 算法的几大重要特征
Python算法除了具有以上特征，还和时间和空间有关系，不同的算法可能用不同的时间、空间或效率来完成同样的任务，因此， 一个Python算法的优劣可以用空间复杂度与时间复杂度来衡量。
通过实例加深对算法的理解
如题所示：
要求x,y,z的1000以内取值满足x x+y y=z*z，同时x+y+z=1000,求解出所以x,y,z的组合情况？
求解过程如下
这里使用了一个waste_time方法作为装饰器来计算装饰过的方法的执行时间，这里有两种算法来求解这个问题
代码如下：
总结：
通过这个示例，对于同一个问题给出两种不同的算法，两种算法在执行过程中我增加了对程序执行时间的统计，通过时间上的对比发现两个算法的执行时间相差非常的大，如响应结果所示。
由此我们可以得出一个结论，就是实现不同的算法程序执行的时间可以反应出算法的效率，即算法有优劣之分，好的算法可以节约时间，提高效率，反之则不然。
python的思维逻辑怎么样？
Python作为一门强大的面向对象，程序设计，类似于现在主流的其他设计语言。它可以胜任程序开发的各个方面，无论是从入门级还是到专业级的科学计算。#我要学Python#
儿童编程
Python特点
Python有一个很显著的特点就是，现在流行的人工智能技术大部分都是使用它来编写的，这大大地促进了Python的发展。机器学习和人工智能本身的一个进化特点决定了它不太适合静态编译性的语言，而适合使用解释性的语言，同时它是非常的简单易学，容易上手，语法清晰明了，导致了很多数学家，科学家选择使用Python来写一些数学计算相关的一些库，最终直接导致了他在科学计算领域无可比拟的优势。
Python可以做什么
写脚本：最简单的你可以用它写一些小脚本Web网站：再复杂一点的，你可以用它写一个网站科学计算：Python应用最广泛的其实还是和数学科学计算相关的，比如说你去做一些网络爬虫，从网上抓一些数据，然后进行数据分析，就可以用它很方便地做到定量分析：还可以自己根据一些数学的公式推导出来的数学模型建模，来达到自己的一个目标，比如说做特定的定量分析，这就是现在，华尔街或者说金融圈最热门的一个方向机器学习：目前最最热门的方向，Python现在被广泛的应用在机器学习和人工智能领域
人工智能
为什么学习Python
Python越来越热了，以后会加入全国计算机等级考试，还有传说是连高考也会加入Python相关的一些内容。目前想做一系列课程，主要是给小学阶段的学生们学习Python的，所以会介绍的尽可能简单。
有哪些用 Python 语言讲算法和数据结构的书
1.Python数据结构篇
数据结构篇主要是阅读[Problem Solving with Python](Welcome to Problem Solving with Algorithms and Data Structures) [该网址链接可能会比较慢]时写下的阅读记录，当然，也结合了部分[算法导论](Introduction to Algorithms)中的内容，此外还有不少wikipedia上的内容，所以内容比较多，可能有点杂乱。这部分主要是介绍了如何使用Python实现常用的一些数据结构，例如堆栈、队列、二叉树等等，也有Python内置的数据结构性能的分析，同时还包括了搜索和排序(在算法设计篇中会有更加详细的介绍)的简单总结。每篇文章都有实现代码，内容比较多，简单算法一般是大致介绍下思想及算法流程，复杂的算法会给出各种图示和代码实现详细介绍。
**这一部分是下面算法设计篇的前篇，如果数据结构还不错的可以直接看算法设计篇，遇到问题可以回来看数据结构篇中的某个具体内容充电一下，我个人认为直接读算法设计篇比较好，因为大家时间也都比较宝贵，如果你会来读这些文章说明你肯定有一定基础了，后面的算法设计篇中更多的是思想，这里更多的是代码而已，嘿嘿。**
(1)[搜索](Python Data Structures)
简述顺序查找和二分查找，详述Hash查找(hash函数的设计以及如何避免冲突)
(2)[排序](Python Data Structures)
简述各种排序算法的思想以及它的图示和实现
(3)[数据结构](Python Data Structures)
简述Python内置数据结构的性能分析和实现常用的数据结构：栈、队列和二叉堆
(4)[树总结](Python Data Structures)
简述二叉树，详述二叉搜索树和AVL树的思想和实现
2.Python算法设计篇
算法设计篇主要是阅读[Python Algorithms: Mastering Basic Algorithms in the Python Language](Python Algorithms: Mastering Basic Algorithms in the Python Language)[**点击链接可进入Springer免费下载原书电子版**]之后写下的读书总结，原书大部分内容结合了经典书籍[算法导论](Introduction to Algorithms)，内容更加细致深入，主要是介绍了各种常用的算法设计思想，以及如何使用Python高效巧妙地实现这些算法，这里有别于前面的数据结构篇，部分算法例如排序就不会详细介绍它的实现细节，而是侧重于它内在的算法思想。这部分使用了一些与数据结构有关的第三方模块，因为这篇的重点是算法的思想以及实现，所以并没有去重新实现每个数据结构，但是在介绍算法的同时会分析Python内置数据结构以及第三方数据结构模块的优缺点，也就意味着该篇比前面都要难不少，但是我想我的介绍应该还算简单明了，因为我用的都是比较朴实的语言，并没有像算法导论一样列出一堆性质和定理，主要是对着某个问题一步步思考然后算法就出来了，嘿嘿，除此之外，里面还有很多关于python开发的内容，精彩真的不容错过！
这里每篇文章都有实现代码，但是代码我一般都不会分析，更多地是分析算法思想，所以内容都比较多，即便如此也没有包括原书对应章节的所有内容，因为内容实在太丰富了，所以我只是选择经典的算法实例来介绍算法核心思想，除此之外，还有不少内容是原书没有的，部分是来自算法导论，部分是来自我自己的感悟，嘻嘻。该篇对于大神们来说是小菜，请一笑而过，对于菜鸟们来说可能有点难啃，所以最适合的是和我水平差不多的，对各个算法都有所了解但是理解还不算深刻的半桶水的程序猿，嘿嘿。
本篇的顺序按照原书[Python Algorithms: Mastering Basic Algorithms in the Python Language](Python Algorithms: Mastering Basic Algorithms in the Python Language)的章节来安排的(章节标题部分相同部分不同哟)，为了节省时间以及保持原著的原滋原味，部分内容(一般是比较难以翻译和理解的内容)直接摘自原著英文内容。
**1.你也许觉得很多内容你都知道嘛，没有看的必要，其实如果是我的话我也会这么想，但是如果只是归纳一个算法有哪些步骤，那这个总结也就没有意义了，我觉得这个总结的亮点在于想办法说清楚一个算法是怎么想出来的，有哪些需要注意的，如何进行优化的等等，采用问答式的方式让读者和我一起来想出某个问题的解，每篇文章之后都还有一两道小题练手哟**
**2.你也许还会说算法导论不是既权威又全面么，基本上每个算法都还有详细的证明呢，读算法导论岂不更好些，当然，你如果想读算法导论的话我不拦着你，读完了感觉自己整个人都不好了别怪小弟没有提醒你哟，嘻嘻嘻，左一个性质右一个定理实在不适合算法科普的啦，没有多少人能够坚持读完的。但是码农与蛇的故事内容不多哟，呵呵呵**
**3.如果你细读本系列的话我保证你会有不少收获的，需要看算法导论哪个部分的地方我会给出提示的，嘿嘿。温馨提示，前面三节内容都是介绍基础知识，所以精彩内容从第4节开始哟，么么哒 O(∩_∩)O~**
(1)[Python Algorithms - C1 Introduction](Python Algorithms)
本节主要是对原书中的内容做些简单介绍，说明算法的重要性以及各章节的内容概要。
(2)[Python Algorithms - C2 The basics](Python Algorithms)
**本节主要介绍了三个内容：算法渐近运行时间的表示方法、六条算法性能评估的经验以及Python中树和图的实现方式。**
(3)[Python Algorithms - C3 Counting 101](Python Algorithms)
原书主要介绍了一些基础数学，例如排列组合以及递归循环等，但是本节只重点介绍计算算法的运行时间的三种方法
(4)[Python Algorithms - C4 Induction and Recursion and Reduction](Python Algorithms)
**本节主要介绍算法设计的三个核心知识：Induction(推导)、Recursion(递归)和Reduction(规约)，这是原书的重点和难点部分**
(5)[Python Algorithms - C5 Traversal](Python Algorithms)
**本节主要介绍图的遍历算法BFS和DFS，以及对拓扑排序的另一种解法和寻找图的(强)连通分量的算法**
(6)[Python Algorithms - C6 Divide and Combine and Conquer](Python Algorithms)
**本节主要介绍分治法策略，提到了树形问题的平衡性以及基于分治策略的排序算法**
(7)[Python Algorithms - C7 Greedy](Python Algorithms)
**本节主要通过几个例子来介绍贪心策略，主要包括背包问题、哈夫曼编码和最小生成树等等**
(8)[Python Algorithms - C8 Dynamic Programming](Python Algorithms)
**本节主要结合一些经典的动规问题介绍动态规划的备忘录法和迭代法这两种实现方式，并对这两种方式进行对比**
(9)[Python Algorithms - C9 Graphs](Python Algorithms)
**本节主要介绍图算法中的各种最短路径算法，从不同的角度揭示它们的内核以及它们的异同**
