本文目录一览：
OpenCV Python 系列教程4 - OpenCV 图像处理（上）
学习目标：
OpenCV 中有 150 多种色彩空间转化的方法，这里只讨论两种：
HSV的色相范围为[0,179]，饱和度范围为[0,255]，值范围为[0,255]。不同的软件使用不同的规模。如果要比较 OpenCV 值和它们，你需要标准化这些范围。
HSV 和 HLV 解释
运行结果：该段程序的作用是检测蓝色目标，同理可以检测其他颜色的目标
结果中存在一定的噪音，之后的章节将会去掉它
这是物体跟踪中最简单的方法。一旦你学会了等高线的函数，你可以做很多事情，比如找到这个物体的质心，用它来跟踪这个物体，仅仅通过在相机前移动你的手来画图表，还有很多其他有趣的事情。
菜鸟教程 在线 HSV- BGR 转换
比如要找出绿色的 HSV 值，可以使用上面的程序，得到的值取一个上下界。如上面的取下界 [H-10, 100, 100]，上界 [H+10, 255, 255]
或者使用其他工具如 GIMP
学习目标：
对图像进行阈值处理，算是一种最简单的图像分割方法，基于图像与背景之间的灰度差异，此项分割是基于像素级的分割
threshold(src, thresh, maxval, type[, dst]) - retval, dst
计算图像小区域的阈值。所以我们对同一幅图像的不同区域得到不同的阈值，这给我们在不同光照下的图像提供了更好的结果。
三个特殊的输入参数和一个输出参数
adaptiveThreshold(src, maxValue, adaptiveMethod, thresholdType, blockSize, C[, dst]) - dst
opencv-threshold-python
OpenCV 图片集
本节原文
学习目标：
OpenCV 提供两种变换函数： cv2.warpAffine 和 cv2.warpPerspective
cv2.resize() 完成缩放
文档说明
运行结果
说明 : cv2.INTER_LINEAR 方法比 cv2.INTER_CUBIC 还慢，好像与官方文档说的不一致？ 有待验证。
速度比较： INTER_CUBIC INTER_NEAREST INTER_LINEAR INTER_AREA INTER_LANCZOS4
改变图像的位置，创建一个 np.float32 类型的变换矩阵，
warpAffine(src, M, dsize[, dst[, flags[, borderMode[, borderValue]]]]) - dst
运行结果：
旋转角度（ ）是通过一个变换矩阵变换的：
OpenCV 提供的是可调旋转中心的缩放旋转，这样你可以在任何你喜欢的位置旋转。修正后的变换矩阵为
这里
OpenCV 提供了 cv2.getRotationMatrix2D 控制
cv2.getRotationMatrix2D(center, angle, scale) → retval
运行结果
cv2.getAffineTransform(src, dst) → retval
函数关系：
\begin{bmatrix} x'_i \ y'_i \end{bmatrix}\begin{bmatrix} x'_i \ y'_i \end{bmatrix} =
其中
运行结果：图上的点便于观察，两图中的红点是相互对应的
透视变换需要一个 3x3 变换矩阵。转换之后直线仍然保持笔直，要找到这个变换矩阵，需要输入图像上的 4 个点和输出图像上的对应点。在这 4 个点中，有 3 个不应该共线。通过 cv2.getPerspectiveTransform 计算得到变换矩阵，得到的矩阵 cv2.warpPerspective 变换得到最终结果。
本节原文
平滑处理（smoothing）也称模糊处理（bluring）,是一种简单且使用频率很高的图像处理方法。平滑处理的用途：常见是用来 减少图像上的噪点或失真 。在涉及到降低图像分辨率时，平滑处理是很好用的方法。
图像滤波：尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。
消除图像中的噪声成分叫做图像的平滑化或滤波操作。信号或图像的能量大部分集中在幅度谱的低频和中频段，在高频段，有用的信息会被噪声淹没。因此一个能降低高频成分幅度的滤波器就能够减弱噪声的影响。
滤波的目的：抽出对象的特征作为图像识别的特征模式；为适应图像处理的要求，消除图像数字化时混入的噪声。
滤波处理的要求：不能损坏图像的轮廓及边缘等重要信息；图像清晰视觉效果好。
平滑滤波是低频增强的空间滤波技术，目的：模糊和消除噪音。
空间域的平滑滤波一般采用简单平均法，即求邻近像元点的平均亮度值。邻域的大小与平滑的效果直接相关，邻域越大平滑效果越好，但是邻域过大，平滑也会使边缘信息的损失的越大，从而使输出图像变得模糊。因此需要选择合适的邻域。
滤波器：一个包含加权系数的窗口，利用滤波器平滑处理图像时，把这个窗口放在图像上，透过这个窗口来看我们得到的图像。
线性滤波器：用于剔除输入信号中不想要的频率或者从许多频率中选择一个想要的频率。
低通滤波器、高通滤波器、带通滤波器、带阻滤波器、全通滤波器、陷波滤波器
boxFilter(src, ddepth, ksize[, dst[, anchor[, normalize[, borderType]]]]) - dst
均值滤波是方框滤波归一化后的特殊情况。归一化就是要把处理的量缩放到一个范围内如 (0,1)，以便统一处理和直观量化。非归一化的方框滤波用于计算每个像素邻近内的积分特性，比如密集光流算法中用到的图像倒数的协方差矩阵。
运行结果：
均值滤波是典型的线性滤波算法，主要方法为邻域平均法，即用一片图像区域的各个像素的均值来代替原图像中的各个像素值。一般需要在图像上对目标像素给出一个模板（内核），该模板包括了其周围的临近像素（比如以目标像素为中心的周围8（3x3-1）个像素，构成一个滤波模板，即 去掉目标像素本身 ）。再用模板中的全体像素的平均值来代替原来像素值。即对待处理的当前像素点（x，y），选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点（x，y），作为处理后图像在该点上的灰度个g（x，y），即个g（x，y）=1/m ∑f（x，y） ，其中m为该模板中包含当前像素在内的像素总个数。
均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。
cv2.blur(src, ksize[, dst[, anchor[, borderType]]]) → dst
结果：
高斯滤波：线性滤波，可以消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过 加权平均 后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
高斯滤波有用但是效率不高。
高斯模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果（参见尺度空间表示以及尺度空间实现）。从数学的角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。
高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。 高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。
一维零均值高斯函数为: 高斯分布参数 决定了高斯函数的宽度。
高斯噪声的产生
GaussianBlur(src, ksize, sigmaX[, dst[, sigmaY[, borderType]]]) - dst
线性滤波容易构造，并且易于从频率响应的角度来进行分析。
许多情况，使用近邻像素的非线性滤波会得到更好的结果。比如在噪声是散粒噪声而不是高斯噪声，即图像偶尔会出现很大值的时候，用高斯滤波器进行图像模糊时，噪声像素不会被消除，而是转化为更为柔和但仍然可见的散粒。
中值滤波（Median filter）是一种典型的非线性滤波技术，基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，该方法在去除脉冲噪声、椒盐噪声『椒盐噪声又称脉冲噪声，它随机改变一些像素值，是由图像传感器，传输信道，解码处理等产生的黑白相间的亮暗点噪声。椒盐噪声往往由图像切割引起。』的同时又能保留图像边缘细节，
中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点，对于 斑点噪声（speckle noise）和椒盐噪声（salt-and-pepper noise） 来说尤其有用，因为它不依赖于邻域内那些与典型值差别很大的值。中值滤波器在处理连续图像窗函数时与线性滤波器的工作方式类似，但滤波过程却不再是加权运算。
中值滤波在一定的条件下可以克服常见线性滤波器如最小均方滤波、方框滤波器、均值滤波等带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声非常有效，也常用于保护边缘信息, 保存边缘的特性使它在不希望出现边缘模糊的场合也很有用，是非常经典的平滑噪声处理方法。
与均值滤波比较：
说明：中值滤波在一定条件下，可以克服线性滤波器（如均值滤波等）所带来的图像细节模糊，而且对滤除脉冲干扰即图像扫描噪声最为有效。在实际运算过程中并不需要图像的统计特性，也给计算带来不少方便。 但是对一些细节多，特别是线、尖顶等细节多的图像不宜采用中值滤波。
双边滤波（Bilateral filter）是一种非线性的滤波方法，是结合 图像的空间邻近度和像素值相似度 的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。具有简单、非迭代、局部的特点。
双边滤波器的好处是可以做边缘保存（edge preserving），一般过去用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差 sigma－d ，它是基于空间分布的高斯滤波函数，所以在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存。 但是由于保存了过多的高频信息，对于彩色图像里的高频噪声，双边滤波器不能够干净的滤掉，只能够对于低频信息进行较好的滤波。
运行结果
学习目标:
形态变换是基于图像形状的一些简单操作。它通常在二进制图像上执行。
膨胀与腐蚀实现的功能
侵蚀的基本思想就像土壤侵蚀一样，它会侵蚀前景物体的边界（总是试图保持前景为白色）。那它是做什么的？内核在图像中滑动（如在2D卷积中）。只有当内核下的所有像素都是 1 时，原始图像中的像素（ 1 或 0 ）才会被视为 1 ，否则它将被侵蚀（变为零）
erode(src, kernel[, dst[, anchor[, iterations[, borderType[, borderValue]]]]]) - dst
与腐蚀的操作相反。如果内核下的至少一个像素为“1”，则像素元素为“1”。因此它增加了图像中的白色区域或前景对象的大小增加。通常，在去除噪音的情况下，侵蚀之后是扩张。因为，侵蚀会消除白噪声，但它也会缩小我们的物体。所以我们扩大它。由于噪音消失了，它们不会再回来，但我们的物体区域会增加。它也可用于连接对象的破碎部分
CV2 --- 处理图像
环境：Anaconda 3.6
首先安装cv2的包： pip3 install opencv-python
import cv2
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
def img_show(img_name, img):
cv2.imshow(img_name, img)
cv2.waitKey(0) # 只显示第一帧
cv2.destroyAllWindows() # 销毁所有的窗口
img_file = 'sudoku.png'
img = cv2.imread(img_file) # 已彩色模式读取图像文件
rows, cols, ch = img.shape # 获取图像形状
img_show('raw img', img)
# 图像缩放
img_scale = cv2.resize(img, None, fx=0.6, interpolation=cv2.INTER_CUBIC)
img_show('scale img', img_scale)
# 图像平移
M = np.float32([[1,0,100],[0,1,50]]) # x=100, y=50
img_transform = cv2.warpAffine(img, M, (rows,cols)) # 平移图像
img_show('transform img', img_transform)
# 图像旋转
M = cv2.getRotaionMatrix2D((cols/2, rows/2), 45, 0.6)
img_rotation = cv2.warpAffine(img, M, (cols, rows))
img_show('rotation img', img_rotation)
# 透视转化
pst1 = np.float32([[x1,y1],[x2,y2], [x3,y3], [x4,y4]]) # 转换前四个点坐标
pst2 = np.float32([[x5,y5],[x6,y6], [x7,y7], [x8,y8]]) # 转换后四个点坐标
M = cv2.getPerspectiveTransform(pst1, pst2)
img_perspective = cv2.warpPerspective(img, M, (x,y))
img_show('perspective img', img_perspective)
# 转化为灰度图片
gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 图像转灰色
img_show('gray img', gray_img)
# 边缘检测
edge_img = cv2.Canny(img, 50,100)
img_show('edge img', edge_img)
# 二值化处理
ret, th1 = cv2.threshold(gray_img, 127, 255, cv2.THRESH_BINARY)
# 127为阀值，255为（超过或小于阀值）赋予的值，THRESH_BINARY类型
th2 = cv2.adaptive(gray_img, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 11,2)
#均值阀值，11=图像分块数， 2=计算阀值的常数项
th3 = cv2.adaptive(gray_img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11,2) # 自适应高斯阀值
titles = ['GRAY_IMG', 'GLOBAL img', 'mean_img', 'gussian img']
imgs = [gray_img, th1, th2, th3]
for i in range(4):
plt.subplot(2,2, i+1),plt.imshow(imgs[i], 'gray') # 以灰度模式展开各个子网格
plt.title(titles[i])
plt.xticks([]), plt.yticks([]) # 设置坐标显示值
plt.suptitle('img') # 表头
plt.show() # 显示图像
# 图像平滑
kernel = np.ones((5,5), np.float32) /25 # 设置平滑内核大小
img_smoth_filter2D = cv2.filter2D(img, -1, kernel) # 2D 卷积法
img_smoth_blur = cv2.blur(img, (5,5)) # 平均法
img_smoth_gaussianblur = cv2.GaussianBlur(img, (5,5), 0) # 高斯模糊
img_smoth_medianblur = cv2.medianBlur(img, 5) # 中值法
titles = ['filter2D', 'blur', 'GaussianBlur', 'medianBlur']
imges = [img_smoth_filter2D, img_smoth_blur, img_smoth_gaussianblur, img_smoth_medianblur]
for i in range(4):
plt.subplot(2,2,i+1), plt.imshow(imges[i])
plt.title(titles[i])
plt.xticks([]), plt.yticks([])
plt.suptitle('smoth images')
plt.show()
# 形态学处理
img2 = cv2.imread('j.png', 0) # 以灰度模式读取图像
kernel = np.ones((5,5), np.uint8)
erosion = cv2.erode(img2, kernel, iterations=1) # 腐蚀
dilation = cv2.dilate(img2, kernel, iterations=1) # 膨胀
plt.subplot(1,3,1), plt.imshow(img2, 'gray')
plt.subplot(1,3,2), plt.imshow(erosion, 'gray')
plt.subplot(1,3,3), plt.imshow(dilation, 'gray')
plt.show()
使用OpenCV和Python进行图像拼接
么是图像拼接呢？简单来说，对于输入应该有一组图像，输出是合成图像。同时，必须保留图像之间的逻辑流。
首先让我们了解图像拼接的概念。基本上，如果你想捕捉一个大的场景，你的相机只能提供一个特定分辨率的图像（如：640×480），这当然不足以捕捉大的全景。所以，我们可以做的是捕捉整个场景的多个图像，然后把所有的碎片放在一起，形成一个大的图像。这些有序的照片被称为全景。获取多幅图像并将其转换成全景图的整个过程称为图像拼接。
首先，需要安装opencv 3.4.2.16。
接下来我们将导入我们将在Python代码中使用的库：
在我们的教程中，我们将拍摄这张精美的照片，我们会将其分成两张左右两张照片，然后我们会尝试拍摄相同或非常相似的照片。
因此，我将此图像切成两个图像，它们会有某种重叠区域：
在此，我们将列出我们应采取的步骤，以取得最终的结果:
因此，从第一步开始，我们将导入这两个图像并将它们转换为灰度，如果您使用的是大图像，我建议您使用cv2.resize，因为如果您使用较旧的计算机，它可能会非常慢并且需要很长时间。如果要调整图像大小，即调整50％，只需将fx = 1更改为fx = 0.5即可。
我们还需要找出两幅图像中匹配的特征。我们将使用opencv_contrib的SIFT描述符。SIFT (Scale constant Feature Transform)是一种非常强大的OpenCV算法。这些最匹配的特征作为拼接的基础。我们提取两幅图像的关键点和sift描述符如下:
kp1和kp2是关键点，des1和des2是图像的描述符。如果我们用特征来画这幅图，它会是这样的:
左边的图像显示实际图像。右侧的图像使用SIFT检测到的特征进行注释：
一旦你有了两个图像的描述符和关键点，我们就会发现它们之间的对应关系。我们为什么要这么做?为了将任意两个图像连接成一个更大的图像，我们必须找到重叠的点。这些重叠的点会让我们根据第一幅图像了解第二幅图像的方向。根据这些公共点，我们就能知道第二幅图像是大是小还是旋转后重叠，或者缩小/放大后再fitted。所有此类信息的产生是通过建立对应关系来实现的。这个过程称为registration。
对于匹配图像，可以使用opencv提供的FLANN或BFMatcher方法。我会写两个例子证明我们会得到相同的结果。两个示例都匹配两张照片中更相似的特征。当我们设置参数k = 2时，这样我们就要求knnMatcher为每个描述符给出2个最佳匹配。“matches”是列表的列表，其中每个子列表由“k”个对象组成。以下是Python代码：
FLANN匹配代码：
BFMatcher匹配代码：
通常在图像中，图像的许多地方可能存在许多特征。所以我们过滤掉所有的匹配来得到最好的。因此我们使用上面得到的前2个匹配项进行比值检验。如果下面定义的比值大于指定的比值，则考虑匹配。
现在我们定义在图像上绘制线条的参数，并给出输出以查看当我们在图像上找到所有匹配时的样子：
这是输出的匹配图像：
这部分完整Python代码：
因此，一旦我们获得了图像之间的最佳匹配，我们的下一步就是计算单应矩阵。如前所述，单应矩阵将与最佳匹配点一起使用，以估计两个图像内的相对方向变换。
在OpenCV中估计单应性是一项简单的任务，只需一行代码:
在开始编码拼接算法之前，我们需要交换图像输入。所以img_现在会取右图像img会取左图像。
那么让我们进入拼接编码:
因此，首先，我们将最小匹配条件count设置为10(由MIN_MATCH_COUNT定义)，并且只有在匹配良好的匹配超出所需匹配时才进行拼接。否则，只需显示一条消息，说明匹配不够。
因此，在if语句中，我们将关键点(从匹配列表)转换为findHomography()函数的参数。
只需在这段代码中讨论cv2.imshow（“original_image_overlapping.jpg”，img2），我们就会显示我们收到的图像重叠区域：
因此，一旦我们建立了单应性，我们需要扭曲视角，我们将以下单应矩阵应用于图像：
所以我们使用如下：
在上面两行Python代码中，我们从两个给定的图像中获取重叠区域。然后在“dst”中我们只接收到没有重叠的图像的右侧，因此在第二行代码中我们将左侧图像放置到最终图像。所以在这一点上我们完全拼接了图像：
剩下的就是去除图像的黑色，所以我们将编写以下代码来从所有图像边框中删除黑边：
这是我们调用修剪边界的最终定义函数，同时我们在屏幕上显示该图像。如果您愿意，也可以将其写入磁盘：
使用上面的Python代码，我们将首先收到原始图片：
这是完整的最终代码：
在本教程中，我们学习了如何使用OpenCV执行图像拼接和全景构造，并编写了最终的图像拼接代码。
我们的图像拼接算法需要四个主要步骤：检测关键点和提取局部不变描述符; 获得图像之间的匹配描述符; 应用RANSAC估计单应矩阵; 使用单应矩阵应用warping transformation。
当仅为两个图像构建全景图时，该算法在实践中工作良好。
