本文目录一览：
- 1、python可以做3D全息投影吗
- 2、吗？一副AR眼镜是怎样炼成的
- 3、在医学图像领域，python可以取代matlab吗
- 4、OpenCV Python 系列教程4 - OpenCV 图像处理（上）
- 5、python 读取dicom tag 结果为空值
- 6、python如何绘制一个三维空间下的平面？
python可以做3D全息投影吗
3D全息投影是一种利用干涉和衍射原理记录并再现物体真实的三维图像，是一种观众无需配戴眼镜便可以看到立体的虚拟人物的3D技术。[1]
其基本原理是：在拍摄过程中利用干涉原理记录物体光波信息，成象过程中利用衍射原理再现物体光波信息，从而能够再现物体真实的三维图像。这项技术在一些博物馆应用较多。
python肯定可以做，但是它目前没有成熟的框架
吗？一副AR眼镜是怎样炼成的
一副AR眼镜是怎样炼成的
七种AR光学方案及优缺点
1、直接投影或离轴反射
这种技术类似于投影仪，可以将影像直接投影到眼镜上，比如 Glass Up，就是在右侧镜腿上安装了一个微型投影仪，并将镜片作为反射镜，会在镜片上投射一个大小为 320×240 的区域，通过反射以后形成平行光进入人眼成像。这种方案虽无法像手机或平板电脑一样进行多任务处理，但应付一些文字信息和简单图表足够。Meta 眼镜也采用了类似技术——离轴反射镜，与标准抛物反射镜的不同之处在于，它可在特定角度下直射并聚焦入射平行光，且支持无限远焦点，造型极其紧凑的投影仪藏在镜框内，左右各有一个，由 LED 光源将半透式 LCD 上的影像投射到分光镜片上成像，从而提供了立体视觉。
2、棱镜光学
最简单的就是 45 度角棱镜，把显示器产生的光从眼镜框反射进人眼，也同时让现实世界的光透进来。这样做简单便宜，众所周知的 Google Glass 便是采用了这种方案。但由于技术限制，连 Google Glass 的缺点也很明显，视场角仅 20°左右(棱镜方式要想做大 FOV 只能做得更厚)，光线需要先后经过半反半透膜层两次，光能利用率低(约为 20%)，导致画面较暗。受限于制造工艺，镜片厚，提供面积大的镜片成本高、良率低。
3、自由曲面棱镜式
自由曲面指表面形状不能被连续加工的，具有传统加工成型的任意性特点的曲面，其设计难度远远高于前两类。一般情况下它的形态是一个楔形的玻璃，这种曲面是非旋转对称的 XY 多项式自由曲面。在这种结构中，光线经过该棱镜的变换，形成虚拟放大的图像，自由曲面全反射的出射面和自由曲面的反射面能消除色差和畸变等像差，因此成像质量更加清晰，视角可以达到 54 度，采用双自由曲面棱镜视角可以进一步提高。缺陷就是，体积较大，厚度约在 7-10mm。
4、光波导+全息技术
波导能够在 3mm 以内的玻璃上，实现 30-40°的视场角。它会低于一般近视眼镜的厚度，非常轻薄，因此可以和普通眼镜结合。不过，它的设计难度也是最大的。该技术的基本原理是光的全反射和衍射。如图，全息波导头盔显示系统主要由微显示器、全息光栅和平板波导组成。图像经过微型准直透镜后变成平行光进入光波导到达第一个全息光栅，由于全息光栅的衍射效应使平行光改变传输方向从而满足全反射条件并沿波导方向向前无损传播。当平行光传播到第二个全息光栅时，全反射条件被破坏从而使平行光从全息波导出射，并进入人眼成像。由于全息波导的存在，光学图像可以垂直偏转传播。这不但减小了传播距离，还可保持光学系统的重心在头部以内。同时减少了折镜的使用，从而有利于光学系统的简洁化和轻小型设计。不过，该技术智能实现单色显示，想要实现彩色效果必须采用 3 层镜片，分别投射红、绿、蓝三原光，利用不同光线的融合形成彩色。目前，HoloLens 便是采用这种方案。
5、光波导+反射技术
全息光栅方案，由于衍射效应会造成色散和图像模糊。所以，以色列公司 Lumus 用到了一种 Light-guide Optical Element(LOE)器件，这种器件使用的并非全息光栅，而是更加简单的多反射层结构，如图所示。LOE 器件的原理和潜望镜类似，但是使用了多个反射镜扩展出瞳。每个反射镜反射的都是平行光，这些反射镜成同一像。其中 Lumus 的代表性产品 PD-18 分辨率为 800×600，视场角为 26°×20°，出瞳为 10mm，出瞳距为 23mm。器件厚度为 2.3mm，重量小于 70g，亮度为 1200fL，显示区透过率为 70%，其余区域透过率为 92%。
6、光场技术
光场技术作为近眼 3D 的另外一大技术路线，其代表者就是 Magic Leap。该技术最大的好处就是可以允许用户自由对焦，看远看近不至于产生传统照片或视频那样的模糊感觉。这种方法的技术核心是光导纤维投影仪(Fiber Optic Projector)，基于激光在光导纤维中传播后从纤维的端口射出时输出方向和纤维相切的原理，Magic Leap 通过改变纤维在三维空间中的形状，特别是改变纤维端口处的切方向，控制激光射出的方向，直接投射到视网膜。
7、视频叠加技术
上述几种方案相对较难，视频叠加技术则可以更简单地实现 AR 效果。视频叠加技术直接利用摄像头取代透镜观察真实世界，并将虚拟事物叠加在摄像头所拍摄的场景中。该方法避免了光学设计上的难题，并且可以增强人的视觉感知能力，比如通过使用红外线摄像头，可以看见红外光谱的景象。不过，它也带来了另一个难题，那就是数据运算量极高，这个问题亟待解决。
四种“底层”AR实现方式
如果说上面的是专业技术解决方案，那么下面我们要介绍的就是专为AR技术爱好者准备的“业余”方案。
1、Opencv和C++
大致原理是OpenCV实现对Marker的识别和定位，然后通过OpenGL将虚拟物体叠加到摄像头图像下，实现增强现实。具体思路是：使用SIFT算法进行识别(特征点的提取并用特征向量对特征点描述，接着当前视图的特征向量与目标对象的特征向量进行匹配)，根据识别出来的原目标和帧图像匹配关系得到变化矩阵，来显示三维物体(使用OpenGL来绘制)，实现跟踪。
2、Python
Python是世界上最优雅的语言，目前的计算机视觉项目大都用Python来实现，当然用Python的CV库也可以很轻松的实现AR效果。用Python来实现AR效果，首先需要运用到两个开源的工具包PyGame与PyOpenGL。PyGame是非常流行的游戏开发工具包，它可以非常简单的处理显示窗口，输入设备，事件以及其他内容。在实现的过程中，需要获取照相机矩阵并转换到OpenGL格式，并以平面和标记物进行姿态估计，然后在图像中放置虚拟物体，实现增强现实。
3、AR+SLAM
SLAM主要用于地图重建，在AR中，通常运用SLAM算法来获取camera pose。网上有一些SLAM开发资源与AR-SLAM 项目案例，有兴趣的可以下载参考。
4、ARToolkit
ARToolKit 是一个C/C++ 语言编写的库。对于开发一个AR程序来说，最困难的部分在于实时的将虚拟图像覆盖到用户视口，并且和真实世界中的对象精确对齐。ARToolKit使用图像技术计算摄像机和标记卡之间的相对位置，从而使程序员能够将他们的虚拟对象覆盖到标记卡上面。ARToolKit 提供的快速和准确的标记跟踪，能够让人快速的开发出许多更新更有趣的AR程序。实现步骤是：程序初始化—抓取一帧进行视频的输入—然后探测标示卡—计算摄像头的转移矩阵—绘制虚拟物体—关闭视频捕捉。
在医学图像领域，python可以取代matlab吗
python完全能取代Matlab。实际上身边很多人就不用Matlab做医学图像方面的research
有几个原因。
Python有人说是个glue语言，就是可以把一些其他语言写成的脚本，软件等，用python做个wrapper。医学图像经常需要处理大量文件，多个目录，各种预处理，需要各种不同的软件。Matlab不擅长处理这些，python更好。
如果直接用python写算法，scikit0-image等python的工具已经具备基本的图像处理的而功能。Matlab里面有些所谓高级算法，一般也用不着。如果处理3D的数据，算法包当然首推ITK。楼上说的ITKSnap就是基于ITK的。这个跟matlab没关系。文件格式，Python支持nifti等很多格式。
另一个3D slicer处理三维图像的软件，也是有python接口的。 这是主流的医学图像的开源软件。还有个Mevislab，好像也有python接口。
python作图和Matlab相比，差不多，看个人喜好。
我在boston Mabla工作的同学说，他们公司现在Matlab都不怎么开发，专注企业用户，专注simulink了。
上边有人问“值化、边缘检测、滤波、骨骼化、形态学上的膨胀与腐蚀、成像后的数据格式转化”，这些都可以在python里面做，ITK还有python借口，可以处理三维图像，当然也可以处理二维。
未来是python的。
OpenCV Python 系列教程4 - OpenCV 图像处理（上）
学习目标：
OpenCV 中有 150 多种色彩空间转化的方法，这里只讨论两种：
HSV的色相范围为[0,179]，饱和度范围为[0,255]，值范围为[0,255]。不同的软件使用不同的规模。如果要比较 OpenCV 值和它们，你需要标准化这些范围。
HSV 和 HLV 解释
运行结果：该段程序的作用是检测蓝色目标，同理可以检测其他颜色的目标
结果中存在一定的噪音，之后的章节将会去掉它
这是物体跟踪中最简单的方法。一旦你学会了等高线的函数，你可以做很多事情，比如找到这个物体的质心，用它来跟踪这个物体，仅仅通过在相机前移动你的手来画图表，还有很多其他有趣的事情。
菜鸟教程 在线 HSV- BGR 转换
比如要找出绿色的 HSV 值，可以使用上面的程序，得到的值取一个上下界。如上面的取下界 [H-10, 100, 100]，上界 [H+10, 255, 255]
或者使用其他工具如 GIMP
学习目标：
对图像进行阈值处理，算是一种最简单的图像分割方法，基于图像与背景之间的灰度差异，此项分割是基于像素级的分割
threshold(src, thresh, maxval, type[, dst]) - retval, dst
计算图像小区域的阈值。所以我们对同一幅图像的不同区域得到不同的阈值，这给我们在不同光照下的图像提供了更好的结果。
三个特殊的输入参数和一个输出参数
adaptiveThreshold(src, maxValue, adaptiveMethod, thresholdType, blockSize, C[, dst]) - dst
opencv-threshold-python
OpenCV 图片集
本节原文
学习目标：
OpenCV 提供两种变换函数： cv2.warpAffine 和 cv2.warpPerspective
cv2.resize() 完成缩放
文档说明
运行结果
说明 : cv2.INTER_LINEAR 方法比 cv2.INTER_CUBIC 还慢，好像与官方文档说的不一致？ 有待验证。
速度比较： INTER_CUBIC INTER_NEAREST INTER_LINEAR INTER_AREA INTER_LANCZOS4
改变图像的位置，创建一个 np.float32 类型的变换矩阵，
warpAffine(src, M, dsize[, dst[, flags[, borderMode[, borderValue]]]]) - dst
运行结果：
旋转角度（ ）是通过一个变换矩阵变换的：
OpenCV 提供的是可调旋转中心的缩放旋转，这样你可以在任何你喜欢的位置旋转。修正后的变换矩阵为
这里
OpenCV 提供了 cv2.getRotationMatrix2D 控制
cv2.getRotationMatrix2D(center, angle, scale) → retval
运行结果
cv2.getAffineTransform(src, dst) → retval
函数关系：
\begin{bmatrix} x'_i \ y'_i \end{bmatrix}\begin{bmatrix} x'_i \ y'_i \end{bmatrix} =
其中
运行结果：图上的点便于观察，两图中的红点是相互对应的
透视变换需要一个 3x3 变换矩阵。转换之后直线仍然保持笔直，要找到这个变换矩阵，需要输入图像上的 4 个点和输出图像上的对应点。在这 4 个点中，有 3 个不应该共线。通过 cv2.getPerspectiveTransform 计算得到变换矩阵，得到的矩阵 cv2.warpPerspective 变换得到最终结果。
本节原文
平滑处理（smoothing）也称模糊处理（bluring）,是一种简单且使用频率很高的图像处理方法。平滑处理的用途：常见是用来 减少图像上的噪点或失真 。在涉及到降低图像分辨率时，平滑处理是很好用的方法。
图像滤波：尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。
消除图像中的噪声成分叫做图像的平滑化或滤波操作。信号或图像的能量大部分集中在幅度谱的低频和中频段，在高频段，有用的信息会被噪声淹没。因此一个能降低高频成分幅度的滤波器就能够减弱噪声的影响。
滤波的目的：抽出对象的特征作为图像识别的特征模式；为适应图像处理的要求，消除图像数字化时混入的噪声。
滤波处理的要求：不能损坏图像的轮廓及边缘等重要信息；图像清晰视觉效果好。
平滑滤波是低频增强的空间滤波技术，目的：模糊和消除噪音。
空间域的平滑滤波一般采用简单平均法，即求邻近像元点的平均亮度值。邻域的大小与平滑的效果直接相关，邻域越大平滑效果越好，但是邻域过大，平滑也会使边缘信息的损失的越大，从而使输出图像变得模糊。因此需要选择合适的邻域。
滤波器：一个包含加权系数的窗口，利用滤波器平滑处理图像时，把这个窗口放在图像上，透过这个窗口来看我们得到的图像。
线性滤波器：用于剔除输入信号中不想要的频率或者从许多频率中选择一个想要的频率。
低通滤波器、高通滤波器、带通滤波器、带阻滤波器、全通滤波器、陷波滤波器
boxFilter(src, ddepth, ksize[, dst[, anchor[, normalize[, borderType]]]]) - dst
均值滤波是方框滤波归一化后的特殊情况。归一化就是要把处理的量缩放到一个范围内如 (0,1)，以便统一处理和直观量化。非归一化的方框滤波用于计算每个像素邻近内的积分特性，比如密集光流算法中用到的图像倒数的协方差矩阵。
运行结果：
均值滤波是典型的线性滤波算法，主要方法为邻域平均法，即用一片图像区域的各个像素的均值来代替原图像中的各个像素值。一般需要在图像上对目标像素给出一个模板（内核），该模板包括了其周围的临近像素（比如以目标像素为中心的周围8（3x3-1）个像素，构成一个滤波模板，即 去掉目标像素本身 ）。再用模板中的全体像素的平均值来代替原来像素值。即对待处理的当前像素点（x，y），选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点（x，y），作为处理后图像在该点上的灰度个g（x，y），即个g（x，y）=1/m ∑f（x，y） ，其中m为该模板中包含当前像素在内的像素总个数。
均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。
cv2.blur(src, ksize[, dst[, anchor[, borderType]]]) → dst
结果：
高斯滤波：线性滤波，可以消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过 加权平均 后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
高斯滤波有用但是效率不高。
高斯模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果（参见尺度空间表示以及尺度空间实现）。从数学的角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。
高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。 高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。
一维零均值高斯函数为: 高斯分布参数 决定了高斯函数的宽度。
高斯噪声的产生
GaussianBlur(src, ksize, sigmaX[, dst[, sigmaY[, borderType]]]) - dst
线性滤波容易构造，并且易于从频率响应的角度来进行分析。
许多情况，使用近邻像素的非线性滤波会得到更好的结果。比如在噪声是散粒噪声而不是高斯噪声，即图像偶尔会出现很大值的时候，用高斯滤波器进行图像模糊时，噪声像素不会被消除，而是转化为更为柔和但仍然可见的散粒。
中值滤波（Median filter）是一种典型的非线性滤波技术，基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，该方法在去除脉冲噪声、椒盐噪声『椒盐噪声又称脉冲噪声，它随机改变一些像素值，是由图像传感器，传输信道，解码处理等产生的黑白相间的亮暗点噪声。椒盐噪声往往由图像切割引起。』的同时又能保留图像边缘细节，
中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点，对于 斑点噪声（speckle noise）和椒盐噪声（salt-and-pepper noise） 来说尤其有用，因为它不依赖于邻域内那些与典型值差别很大的值。中值滤波器在处理连续图像窗函数时与线性滤波器的工作方式类似，但滤波过程却不再是加权运算。
中值滤波在一定的条件下可以克服常见线性滤波器如最小均方滤波、方框滤波器、均值滤波等带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声非常有效，也常用于保护边缘信息, 保存边缘的特性使它在不希望出现边缘模糊的场合也很有用，是非常经典的平滑噪声处理方法。
与均值滤波比较：
说明：中值滤波在一定条件下，可以克服线性滤波器（如均值滤波等）所带来的图像细节模糊，而且对滤除脉冲干扰即图像扫描噪声最为有效。在实际运算过程中并不需要图像的统计特性，也给计算带来不少方便。 但是对一些细节多，特别是线、尖顶等细节多的图像不宜采用中值滤波。
双边滤波（Bilateral filter）是一种非线性的滤波方法，是结合 图像的空间邻近度和像素值相似度 的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。具有简单、非迭代、局部的特点。
双边滤波器的好处是可以做边缘保存（edge preserving），一般过去用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差 sigma－d ，它是基于空间分布的高斯滤波函数，所以在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存。 但是由于保存了过多的高频信息，对于彩色图像里的高频噪声，双边滤波器不能够干净的滤掉，只能够对于低频信息进行较好的滤波。
运行结果
学习目标:
形态变换是基于图像形状的一些简单操作。它通常在二进制图像上执行。
膨胀与腐蚀实现的功能
侵蚀的基本思想就像土壤侵蚀一样，它会侵蚀前景物体的边界（总是试图保持前景为白色）。那它是做什么的？内核在图像中滑动（如在2D卷积中）。只有当内核下的所有像素都是 1 时，原始图像中的像素（ 1 或 0 ）才会被视为 1 ，否则它将被侵蚀（变为零）
erode(src, kernel[, dst[, anchor[, iterations[, borderType[, borderValue]]]]]) - dst
与腐蚀的操作相反。如果内核下的至少一个像素为“1”，则像素元素为“1”。因此它增加了图像中的白色区域或前景对象的大小增加。通常，在去除噪音的情况下，侵蚀之后是扩张。因为，侵蚀会消除白噪声，但它也会缩小我们的物体。所以我们扩大它。由于噪音消失了，它们不会再回来，但我们的物体区域会增加。它也可用于连接对象的破碎部分
python 读取dicom tag 结果为空值
可能出现了中文乱码的问题。
DICOM全称为Digital Imaging and Communications in Medicine，即医学数字成像和通信标准。本文中读取的CT图像就是使用DICOM标准存储的。其实不只CT图像，大部分临床影像都被存储为DICOM格式，如MR与PET图像。DICOM文件中除了包含有影像数据外，还囊括了大量机器，患者信息。这些信息被存储在一个个tags or attributes之下。Pydicom包为我们提供了非常简单易用的方法来读取这些文件。
Python 由 Guido van Rossum 于 1989 年年底出于某种娱乐目的而开发， Python 语言是基于 ABC 教学语言的，而 ABC 这种语言非常强大，是专门为非专业程序员设计的。但 ABC 语言并没有获得广泛的应用， Guido 认为是非开放造成的。
Python 的“出身”部分影响了它的流行，Python 上手非常简单，它的语法非常像自然语言，对非软件专业人士而言，选择 Python 的成本最低，因此某些医学甚至艺术专业背景的人，往往会选择 Python 作为编程语言。
python如何绘制一个三维空间下的平面？
和语言无关。可以参考3D引擎。
首先你要了解人类眼睛的原理，类似小孔成像。
物品上的点发出射线穿过瞳孔，与视网膜相交(晶状体这里省略)。同样的道理，空间直角坐标系上的点通过你定义的“视点”和你定义的一个平面相交，再把这个平面上的点在屏幕上画出来，就相当于你在这个视点所看到的东西了。这就是三维技术的原理
