本文目录一览：
- 1、BPNN神经网络的Python实现
- 2、从零开始用Python构建神经网络
- 3、python定义的神经网络类里面的一个函数，手机提问没有显示缩进，都是一个函数下的，见谅一下
- 4、如何用Python和深度神经网络寻找相似图像
- 5、怎样用python构建一个卷积神经网络
BPNN神经网络的Python实现
关于前置的数学知识，可以查看
首先是bpnn.py，实现了BPNeuralNetwork类。
然后是__init__.py，使用mnist手写数字数据集对我们的BPNN进行测试，准确率可达97%以上。
从零开始用Python构建神经网络
从零开始用Python构建神经网络
动机：为了更加深入的理解深度学习，我们将使用 python 语言从头搭建一个神经网络，而不是使用像 Tensorflow 那样的封装好的框架。我认为理解神经网络的内部工作原理，对数据科学家来说至关重要。
这篇文章的内容是我的所学，希望也能对你有所帮助。
神经网络是什么?
介绍神经网络的文章大多数都会将它和大脑进行类比。如果你没有深入研究过大脑与神经网络的类比，那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解。
神经网络包括以下组成部分
? 一个输入层，x
? 任意数量的隐藏层
? 一个输出层，?
? 每层之间有一组权值和偏置，W and b
? 为隐藏层选择一种激活函数，σ。在教程中我们使用 Sigmoid 激活函数
下图展示了 2 层神经网络的结构(注意：我们在计算网络层数时通常排除输入层)
2 层神经网络的结构
用 Python 可以很容易的构建神经网络类
训练神经网络
这个网络的输出 ? 为：
你可能会注意到，在上面的等式中，输出 ? 是 W 和 b 函数。
因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络。
每步训练迭代包含以下两个部分:
? 计算预测结果 ?，这一步称为前向传播
? 更新 W 和 b,，这一步成为反向传播
下面的顺序图展示了这个过程：
前向传播
正如我们在上图中看到的，前向传播只是简单的计算。对于一个基本的 2 层网络来说，它的输出是这样的：
我们在 NeuralNetwork 类中增加一个计算前向传播的函数。为了简单起见我们假设偏置 b 为0：
但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差)。这就要用到损失函数。
损失函数
常用的损失函数有很多种，根据模型的需求来选择。在本教程中，我们使用误差平方和作为损失函数。
误差平方和是求每个预测值和真实值之间的误差再求和，这个误差是他们的差值求平方以便我们观察误差的绝对值。
训练的目标是找到一组 W 和 b，使得损失函数最好小，也即预测值和真实值之间的距离最小。
反向传播
我们已经度量出了预测的误差(损失)，现在需要找到一种方法来传播误差，并以此更新权值和偏置。
为了知道如何适当的调整权值和偏置，我们需要知道损失函数对权值 W 和偏置 b 的导数。
回想微积分中的概念，函数的导数就是函数的斜率。
梯度下降法
如果我们已经求出了导数，我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图)。这种方式被称为梯度下降法。
但是我们不能直接计算损失函数对权值和偏置的导数，因为在损失函数的等式中并没有显式的包含他们。因此，我们需要运用链式求导发在来帮助计算导数。
链式法则用于计算损失函数对 W 和 b 的导数。注意，为了简单起见。我们只展示了假设网络只有 1 层的偏导数。
这虽然很简陋，但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率)，因此我们可以相应的调整权值。
现在我们将反向传播算法的函数添加到 Python 代码中
为了更深入的理解微积分原理和反向传播中的链式求导法则，我强烈推荐 3Blue1Brown 的如下教程：
Youtube：
整合并完成一个实例
既然我们已经有了包括前向传播和反向传播的完整 Python 代码，那么就将其应用到一个例子上看看它是如何工作的吧。
神经网络可以通过学习得到函数的权重。而我们仅靠观察是不太可能得到函数的权重的。
让我们训练神经网络进行 1500 次迭代，看看会发生什么。 注意观察下面每次迭代的损失函数，我们可以清楚地看到损失函数单调递减到最小值。这与我们之前介绍的梯度下降法一致。
让我们看看经过 1500 次迭代后的神经网络的最终预测结果：
经过 1500 次迭代训练后的预测结果
我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值。
注意预测值和真实值之间存在细微的误差是允许的。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力。
下一步是什么?
幸运的是我们的学习之旅还没有结束，仍然有很多关于神经网络和深度学习的内容需要学习。例如：
? 除了 Sigmoid 以外，还可以用哪些激活函数
? 在训练网络的时候应用学习率
? 在面对图像分类任务的时候使用卷积神经网络
我很快会写更多关于这个主题的内容，敬请期待!
最后的想法
我自己也从零开始写了很多神经网络的代码
虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理。但是我觉得对于有追求的数据科学家来说，理解内部原理是非常有益的。
这种练习对我自己来说已成成为重要的时间投入，希望也能对你有所帮助
python定义的神经网络类里面的一个函数，手机提问没有显示缩进，都是一个函数下的，见谅一下
我知道你这个代码，你没有贴全，源头是GitHub上的对吧。
self.hidden_layer.inspect()，这里面的inspect应该不是递归，不然感觉会递归到时间尽头的。
应该是：
def inspect(self):
# print该层神经元的信息
print('Neurons:', len(self.neurons))
for n in range(len(self.neurons)):
print(' Neuron', n)
for w in range(len(self.neurons[n].weights)):
print(' Weight:', self.neurons[n].weights[w])
print(' Bias:', self.bias)
上面这段代码的inspect。
所以，
self.hidden_layer.inspect()
是输出隐层的层数和偏置项
有的代码要借助ide才能理解的，手机看有点勉强了。
如何用Python和深度神经网络寻找相似图像
代码
首先，读入TuriCreate软件包
import turicreate as tc
我们指定图像所在的文件夹image，让TuriCreate读取所有的图像文件，并且存储到data数据框
data = tc.image_analysis.load_images('./image/')
我们来看看，data数据框的内容：
data
data包含两列信息，第一列是图片的地址，第二列是图片的长宽描述。
下面我们要求TuriCreate给数据框中每一行添加一个行号。这将作为图片的标记，方便后面查找图片时使用，并输出查看data。
data = data.add_row_number()
data
下面，是重头戏。我们让TuriCreate根据输入的图片集合，建立图像相似度判别模型。
model = tc.image_similarity.create(data)
这个语句执行起来，可能需要一些时间。如果你是第一次使用TuriCreate，它可能还需要从网上下载一些数据。请耐心等待。
经过或长或短的等待，模型已经成功建立。
下面，我们来尝试给模型一张图片，让TuriCreate帮我们从目前的图片集合里，挑出最为相似的10张来。
为了方便，我们就选择第一张图片作为查询输入。
我们利用show()函数展示一下这张图片。
tc.Image(data[0]['path']).show()
下面我们来查询，我们让模型寻找出与这张图片最相似的10张。
similar_images = model.query(data[0:1], k=10)
我们把结果存储在了similar_images变量里面，下面我们来看看其中都有哪些图片。
similar_images
返回的结果一共有10行。跟我们的要求一致。
每一行数据，包含4列。分别是：
查询图片的标记
获得结果的标记
结果图片与查询图片的距离
结果图片与查询图片近似程度排序值
有了这些信息，我们就可以查看到底哪些图片与输入查询图片最为相似了。
注意其中的第一张结果图片，其实就是我们的输入图片本身。考虑它没有意义。
我们提取全部结果图片的标记（索引）值，忽略掉第一张（自身）。
similar_image_index = similar_images['reference_label'][1:]
把上面9张图片的标记在所有图片的索引列表中过滤出来：
filtered_index = data['id'].apply(lambda x : x in similar_image_index)
filtered_index
验证完毕以后，请执行以下语句。我们再次调用TuriCreate的explore()函数，展现相似度查询结果图片。
data[filtered_index].explore()
怎样用python构建一个卷积神经网络
用keras框架较为方便首先安装anaconda，然后通过pip安装keras以下转自wphh的博客。#coding:utf-8'''GPUruncommand:THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32pythoncnn.pyCPUruncommand:pythoncnn.py2016.06.06更新：
