本文目录一览：
数据增强的方法有哪些
1 什么是数据增强？
数据增强也叫数据扩增，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。
比如上图，第1列是原图，后面3列是对第1列作一些随机的裁剪、旋转操作得来。
每张图对于网络来说都是不同的输入，加上原图就将数据扩充到原来的10倍。假如我们输入网络的图片的分辨率大小是256×256，若采用随机裁剪成224×224的方式，那么一张图最多可以产生32×32张不同的图，数据量扩充将近1000倍。虽然许多的图相似度太高，实际的效果并不等价，但仅仅是这样简单的一个操作，效果已经非凡了。
如果再辅助其他的数据增强方法，将获得更好的多样性，这就是数据增强的本质。
数据增强可以分为，有监督的数据增强和无监督的数据增强方法。其中有监督的数据增强又可以分为单样本数据增强和多样本数据增强方法，无监督的数据增强分为生成新的数据和学习增强策略两个方向。
2 有监督的数据增强
有监督数据增强，即采用预设的数据变换规则，在已有数据的基础上进行数据的扩增，包含单样本数据增强和多样本数据增强，其中单样本又包括几何操作类，颜色变换类。
2.1. 单样本数据增强
所谓单样本数据增强，即增强一个样本的时候，全部围绕着该样本本身进行操作，包括几何变换类，颜色变换类等。
(1) 几何变换类
几何变换类即对图像进行几何变换，包括翻转，旋转，裁剪，变形，缩放等各类操作，下面展示其中的若干个操作。
水平翻转和垂直翻转
随机旋转
随机裁剪
变形缩放
翻转操作和旋转操作，对于那些对方向不敏感的任务，比如图像分类，都是很常见的操作，在caffe等框架中翻转对应的就是mirror操作。
翻转和旋转不改变图像的大小，而裁剪会改变图像的大小。通常在训练的时候会采用随机裁剪的方法，在测试的时候选择裁剪中间部分或者不裁剪。值得注意的是，在一些竞赛中进行模型测试时，一般都是裁剪输入的多个版本然后将结果进行融合，对预测的改进效果非常明显。
以上操作都不会产生失真，而缩放变形则是失真的。
很多的时候，网络的训练输入大小是固定的，但是数据集中的图像却大小不一，此时就可以选择上面的裁剪成固定大小输入或者缩放到网络的输入大小的方案，后者就会产生失真，通常效果比前者差。
(2) 颜色变换类
上面的几何变换类操作，没有改变图像本身的内容，它可能是选择了图像的一部分或者对像素进行了重分布。如果要改变图像本身的内容，就属于颜色变换类的数据增强了，常见的包括噪声、模糊、颜色变换、擦除、填充等等。
基于噪声的数据增强就是在原来的图片的基础上，随机叠加一些噪声，最常见的做法就是高斯噪声。更复杂一点的就是在面积大小可选定、位置随机的矩形区域上丢弃像素产生黑色矩形块，从而产生一些彩色噪声，以Coarse Dropout方法为代表，甚至还可以对图片上随机选取一块区域并擦除图像信息。
添加Coarse Dropout噪声
颜色变换的另一个重要变换是颜色扰动，就是在某一个颜色空间通过增加或减少某些颜色分量，或者更改颜色通道的顺序。
颜色扰动
还有一些颜色变换，本文就不再详述。
几何变换类，颜色变换类的数据增强方法细致数还有非常多，推荐给大家一个git项目：
预览一下它能完成的数据增强操作吧。
2.2. 多样本数据增强
不同于单样本数据增强，多样本数据增强方法利用多个样本来产生新的样本，下面介绍几种方法。
(1) SMOTE[1]
SMOTE即Synthetic Minority Over-sampling Technique方法，它是通过人工合成新样本来处理样本不平衡问题，从而提升分类器性能。
类不平衡现象是很常见的，它指的是数据集中各类别数量不近似相等。如果样本类别之间相差很大，会影响分类器的分类效果。假设小样本数据数量极少，如仅占总体的1%，则即使小样本被错误地全部识别为大样本，在经验风险最小化策略下的分类器识别准确率仍能达到99%，但由于没有学习到小样本的特征，实际分类效果就会很差。
SMOTE方法是基于插值的方法，它可以为小样本类合成新的样本，主要流程为：
第一步，定义好特征空间，将每个样本对应到特征空间中的某一点，根据样本不平衡比例确定好一个采样倍率N；
第二步，对每一个小样本类样本(x,y)，按欧氏距离找出K个最近邻样本，从中随机选取一个样本点，假设选择的近邻点为(xn,yn)。在特征空间中样本点与最近邻样本点的连线段上随机选取一点作为新样本点，满足以下公式：
第三步，重复以上的步骤，直到大、小样本数量平衡。
该方法的示意图如下。
在python中，SMOTE算法已经封装到了imbalanced-learn库中，如下图为算法实现的数据增强的实例，左图为原始数据特征空间图，右图为SMOTE算法处理后的特征空间图。
(2) SamplePairing[2]
SamplePairing方法的原理非常简单，从训练集中随机抽取两张图片分别经过基础数据增强操作(如随机翻转等)处理后经像素以取平均值的形式叠加合成一个新的样本，标签为原样本标签中的一种。这两张图片甚至不限制为同一类别，这种方法对于医学图像比较有效。
经SamplePairing处理后可使训练集的规模从N扩增到N×N。实验结果表明，因SamplePairing数据增强操作可能引入不同标签的训练样本，导致在各数据集上使用SamplePairing训练的误差明显增加，而在验证集上误差则有较大幅度降低。
尽管SamplePairing思路简单，性能上提升效果可观，符合奥卡姆剃刀原理，但遗憾的是可解释性不强。
(3) mixup[3]
mixup是Facebook人工智能研究院和MIT在“Beyond Empirical Risk Minimization”中提出的基于邻域风险最小化原则的数据增强方法，它使用线性插值得到新样本数据。
令(xn,yn)是插值生成的新数据，(xi,yi)和(xj,yj)是训练集随机选取的两个数据，则数据生成方式如下
λ的取值范围介于0到1。提出mixup方法的作者们做了丰富的实验，实验结果表明可以改进深度学习模型在ImageNet数据集、CIFAR数据集、语音数据集和表格数据集中的泛化误差，降低模型对已损坏标签的记忆，增强模型对对抗样本的鲁棒性和训练生成对抗网络的稳定性。
SMOTE，SamplePairing，mixup三者思路上有相同之处，都是试图将离散样本点连续化来拟合真实样本分布，不过所增加的样本点在特征空间中仍位于已知小样本点所围成的区域内。如果能够在给定范围之外适当插值，也许能实现更好的数据增强效果。
3 无监督的数据增强
无监督的数据增强方法包括两类：
(1) 通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，代表方法GAN[4]。
(2) 通过模型，学习出适合当前任务的数据增强方法，代表方法AutoAugment[5]。
3.1 GAN
关于GAN(generative adversarial networks)，我们已经说的太多了。它包含两个网络，一个是生成网络，一个是对抗网络，基本原理如下：
(1) G是一个生成图片的网络，它接收随机的噪声z，通过噪声生成图片，记做G(z) 。
(2) D是一个判别网络，判别一张图片是不是“真实的”，即是真实的图片，还是由G生成的图片。
GAN的以假乱真能力就不多说了。
2 Autoaugmentation[5]
AutoAugment是Google提出的自动选择最优数据增强方案的研究，这是无监督数据增强的重要研究方向。它的基本思路是使用增强学习从数据本身寻找最佳图像变换策略，对于不同的任务学习不同的增强方法，流程如下：
(1) 准备16个常用的数据增强操作。
(2) 从16个中选择5个操作，随机产生使用该操作的概率和相应的幅度，将其称为一个sub-policy，一共产生5个sub-polices。
(3) 对训练过程中每一个batch的图片，随机采用5个sub-polices操作中的一种。
(4) 通过模型在验证集上的泛化能力来反馈，使用的优化方法是增强学习方法。
(5) 经过80~100个epoch后网络开始学习到有效的sub-policies。
(6) 之后串接这5个sub-policies，然后再进行最后的训练。
总的来说，就是学习已有数据增强的组合策略，对于门牌数字识别等任务，研究表明剪切和平移等几何变换能够获得最佳效果。
Python 有哪些好的 Web 框架
常见的5种Web框架：
第一个：Django
Django是一个开源的Web应用框架，由Python写成，支持许多数据库引擎，可以让Web开发变得迅速和可扩展，并会不断的版本更新以匹配Python最新版本，如果是新手程序员，可以从这个框架入手。
第二个：Flask
Flask是一个轻量级的Web应用框架，使用Python编写。基于WerkzeugWSGI工具箱和JinJa2模板引擎，使用BSD授权。
Flask也被称为microframework，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数据库、窗体验证工具。然而Flask保留了扩增的弹性，可以用Flask-extension加入这些功能：ORM、窗体验证工具、文件上传、各种开放式身份验证技术。
第三个：Web2py
Web2py是一个用Python语言编写的免费的开源Web框架，旨在敏捷快速的开发Web应用，具有快速、可扩展、安全以及可移植的数据库驱动的应用，遵循LGPLv3开源协议。
Web2py提供一站式的解决方案，整个开发过程都可以在浏览器上进行，提供了Web版的在线开发，HTML模板编写，静态文件的上传，数据库的编写的功能。其他的还有日志功能，以及一个自动化的admin接口。
第四个：Tornado
Tornado即是一个Webserver，同时又是一个类web.py的micro-framework，作为框架的Tornado的思想主要来源于web.PY，大家在web.PY的网站首页也可以看到Tornado的大佬Bret
Taylor的这么一段话：“[web.py inspired the] Web framework we use at FriendFeed [and] thewebapp framework that ships with App Engine…”，因为这层关系，后面不再单独讨论Tornado。
第五个：CherryPy
CherryPy是一个用于Python的、简单而非常有用的Web框架，其主要作用是以尽可能少的操作将Web服务器与Python代码连接，其功能包括内置的分析功能、灵活的插件系统以及一次运行多个HTTP服务器的功能，可运行在最新版本的Python、Jython、android上。
请教关于MLST数据库的使用
MLST数据库中，每种细菌一般是进行7个基因片段的测序，在网站上都有引物序列。
1. 按序列合成引物后，PCR扩增（两次独立扩增），双向测序（上下游引物分别使用一个PCR产物，避免扩增过程中引入突变）；
2. 每株菌的每个基因片段进行拼接，如果有质量不好的位点需要进行重新扩增测序；
3. 将拼接后的序列递交到数据库，数据库会返回一个Alle number，如果匹配不上，恭喜你，发现一个新的Alle，将原始峰图文件递交给网站管理者，审核合格后，会给你的序列分配一个新的Alle number。
4. 一株菌会有7个Alle number，将这7个数字输入数据库，会返回一个ST number，就是序列型，如果匹配不上，恭喜你，发现一个新的ST型。
5. 获得ST型后，可利用eBurst等软件进行简单分析；如果需用进行系统发育分析，需要将7个序列拼接起来，利用MEGA，ClonalFrame，Structure等软件进行。
Pandas 入门
pd.Series 主要设置两个参数，data 和 index，如果不设置 index，则 index 从 0 开始递增。除此之外，还可以设置 dtype。
除了直接设置各个字段，还可以将字典作为参数传入，series 会自动将 key 作为 index，将 value 作为 data。
为了保证数据存取的效率，series 的 index 必须是可哈希的。
series 和字典一样，索引和修改的时间复杂度为 。它有两种索引方式，第一种索引方式与字典相同，但强烈不推荐，会导致各种副作用：
在某些情况下，它会产生歧义：
第二种索引方式是采用 .loc 方法，这种写法是推荐的：
注意一个细节：利用 index 做切片时，和 list 或者 array 利用下标切片，不包括末尾元素不同，index 切片是包括 end 元素的。
除了利用 index 切片，Series 也可以用下标切片，此时不包括终点下标对应的元素，表现和 python 惯例一致：
不像字典的 key 是唯一的，Series 支持 index 包含重复元素。但对 Series 做切片时，如果重复的 index 不是相邻的，则会报错："Cannot get left\right slice bound for non-unique label: 'xxx' "。
因此强烈建议先对 index 排序，这样可以保证切片能够一直能正确运行，并且还能提高索引的效率。
和 numpy 一样，Series 也支持高级索引：
两个 Series 可以相加，只有相同 label 的数据会相加，只存在于其中一个 Series 的数据相加后为 NaN，但也可以指定一方缺失的 label 对应的默认值：
需要注意的是，在操作过程中， series value 的数据类型可能会隐式地被改变，如果不注意，很有可能影响增删的效率，甚至产生错误的结果。
影响效率的例子：
产生错误结果的例子：
DataFrame 还支持广播功能：
可以将 DataFrame 保存为 csv 文件或 json 文件
包括一系列函数：
p.describe() 默认只显示数字列，但也可以设置参数 include='all' 现实所有列。
p.loc['sonia'] 展示 sonia 行
p.loc['sonia', 'age'] 只显示 sonia 的年龄
筛选出女性条目：
增加年龄筛选条件：
DataFrame.mean() 可以按列计算平均值
几种不建议的写法：
p.drop(columns=['mean', ], inplace=True) 用于删除一列或多列， inplace 作用是，设置是否修改原来的 p，如果True，返回 None，原 p 被修改，如果 False，返回被修改后的 DataFrame，同时原 p 保留。
DataFrame 支持所有 numpy 的函数，numpy 函数可以直接施加在 DataFrame 上，例如：
但是，如果需要用到 DataFrame 的 label 对齐特性，例如两个 index 顺序并不相同的 DataFrame 相加，那么 numpy 的函数将直接计算中间的 values，而不会考虑它们 label 对齐的问题。（该问题已经在 pandas 0.2.5 中被修正）
运算中设置 fill_value 可以让表中缺失的数据被 fill_value 代替。
当一个 Series 和一个 DataFrame 相加时，pandas 会默认 Series 是一行，并把它广播到其它行。Series 的 index 会被对应到 DataFrame 的列上，并对齐。如果 Series 的 index 与 DataFrame 的列没关系，那么会扩增 DataFrame，扩增区域对应的数据为 NaN。如果想让 Series 的 index 和 DataFrame 的index 对应，则需要指定 axis=0：
在构建 pandas Series 或者 DataFrame 时，有两种方式可以表示 NaN，一种是 np.NaN ，另一种是python 的 None 对象。 np.NaN 的数据类型是 float ，因此，在 pandas 中，存在 NaN 的对象要么是 float64 的，要么是 object 类型。
pandas 利用如下方法处理缺失数据：
MultiIndex 适用于数组大于二维的情况。所有可以用 Index 的地方，都可以用 MultiIndex 。
MultiIndex Series
MultiIndex DataFrame 利用 from_product 可以方便地创建 MultiIndex。
MultiIndex DataFrame 的索引十分方便
元组配合 slice ，为 MultiIndex DataFrame 做切片：
concat 用于将两个表拼接起来，它适用于两个表有相同的 index 或者有相同的 columns。
concat 也适用于拼接 Series，但是不论是 DataFrame 还是 Series，它不会检查各行的 index 是否重复。
一个解决方案是设置 verify_integrity 参数，它会在遇到两个相同 index 的时候报错。但是这无疑会导致额外的计算，因此除非确实必要，一般不设置它。
设置拼接参数
merge 适用于两个表某 列 相同，然后所有的融合都基于该列：
merge 默认采取 inner join 的策略，如果以某列为基准，那么最终结果中，只有同时出现在这两列中的数据被保留。
总共有三种merge 的方式：
merge 可以设置 on= 或者 left_on= 、 right_on= 显式指定基准列
当两表中的基准列元素不完全一致时，通过设置 how 有四种 merge 策略：
groupby 按照某个指标聚类，分别计算各类数据
groupby 返回值的属性：
groupby 方法分发。 groupby 返回的对象如果没有实现某个 DataFrame的方法，该对象仍然可以调用，只不过是遍历每个类别，分别调用。
groupby().agg 方法：agg 中以 list/dict 形式传入函数名（或名字的字符串），计算每个组的统计量。
groupby().filter() filter 内传入筛选条件，可以是 lambda 表达式
groupby().transform() transform 内传入变换函数，如 lambda 表达式，变换函数将施加在每个子 group 上，一个经典用例是用它来对每个 group 内部中心化，或者用group 均值代替其中的 NaN。
以 titanic 的例子，我们希望得到这样的表格：有三行，每行代表一个舱位级别；有两列，每列代表一个性别。此时需要用到 pivot_table 。 pivot_table 相当于把 groupby 的结果表示为二维表格。
numpy 和 pandas 可以很好地处理各种格式的时间字符串，将其转化为标准格式。同时提供了一系列方法，对时间序列求区间、采样等等。
python 怎么向ndarray添加元素
python中的list叫做列表，可以通过append方法在列表的末尾添加单个元素
x = [1,2,3]
x.append(4)
或者使用extend方法在列表末位添加多个元素，参数就变成了列表
x.append([4,5,6])
或者使用insert方法在任意位置添加元素，第一个参数是插入元素的位置，第二个参数是插入元素的值
