由 dawei 神经网络是线性模块和非线性模块的巧妙排列。当聪明地选择并连接这些模块时，我们就得到了一个强大的工具来逼近任何一个数学函数，如一个能够借助非线性决策边界进行分类的神经网络。
运行代码的步骤如下：
- git clone https://github.com/omar-florez/scratch_mlp/
- python scratch_mlp/scratch_mlp.py
尽管反向传播技术具有直观、模块化的特质，但是它负责更新可训练的参数，这是一个一直未被深入解释的主题。让我们以乐高积木为喻，一次增加一块，从零构建一个神经网络来一探其内部功能。
神经网络就像是由乐高积木组成的
上图描述了训练一个神经网络时所用到的部分数学过程。我们将在本文中解释这个。读者可能感到有趣的一点是：一个神经网络就是很多模块以不同的目标堆叠起来。
- 输入变量 X 向神经网络馈送原始数据，它被存储在一个矩阵中，矩阵的行是观察值，列是维度。
- 权重 W_1 将输入 X 映射到第一个隐藏层 h_1。然后权重 W_1 充当一个线性核。
- Sigmoid 函数防止隐藏层中的数字落到 0-1 的范围之外。结果就是一个神经激活的数组，h_1 = Sigmoid(WX)。
此时，这些运算只是组成了一个一般线性系统，无法对非线性交互建模。当我们再叠加一层，给模块的结构增加深度的时候这一点就会改变。网络越深，我们就会学到越多微妙的非线性交互，能解决的问题也就越复杂，或许这也是深度神经模型兴起的原因之一。
为什么我要读这篇文章?
如果你理解一个神经网络的内部部分，你就能够在遇到问题的时候快速知道先去改变哪里，并且能够制定策略来测试你所知道的这个算法的部分不变量和预期的行为。
因为调试机器学习模型是一项复杂的任务。根据经验，数学模型在首次尝试的时候不会奏效。它们可能会对新数据给出较低的准确率，会耗费很长的训练时间或者太多的内存，返回一个很大的错误负数值或者 NAN 的预测……在有些情况下，了解算法的运行机制可以让我们的任务变得更加便利：
- 如果训练花费了太多的时间，那增加 minibatch 的大小或许是一个好主意，这能够减小观察值的方差，从而有助于算法收敛。
- 如果你看到了 NAN 的预测值，算法可能接收到了大梯度，产生了内存溢出。可以将这个视为在很多次迭代之后发生爆炸的矩阵乘法。减小学习率可以缩小这些数值。减少层数能够减少乘法的数量。剪切梯度也能够明显地控制这个问题。
具体的例子：学习异或函数
让我们打开黑盒子。我们现在要从零开始构建一个学习异或函数的神经网络。选择这个非线性函数可绝对不是随机的。没有反向传播的话，就很难学会用一条直线分类。
为了描述这个重要的概念，请注意下图中，一条直线是为何不能对异或函数输出中的 0 和 1 进行分类。现实生活中的问题也是非线性可分的。
这个网络的拓扑结构非常简单：
- 输入变量 X 是二维向量
- 权重 W_1 是具有随机初始化数值的 2x3 的矩阵
- 隐藏层 h_1 包含 3 个神经元。每个神经元接受观察值的加权和作为输入，这就是下图中绿色高亮的内积：z_1 = [x_1, x_2][w_1, w_2]
- 权重 W_2 是具有随机初始化值的 3x2 的矩阵
- 输出层 h_2 包含两个神经元，因为异或函数的输出要么是 0(y_1=[0,1])，要么是 1(y_2 = [1,0])
下图更加直观：
我们现在来训练这个模型。在我们这个简单的例子中，可训练的参数就是权重，但是应该知道的是，目前的研究正在探索更多可以被优化的参数类型。例如层之间的快捷连接、正则化分布、拓扑结构、残差、学习率等等。
反向传播是这样的一种方法：在给定的一批具有标签的观察值上，朝着将预定义的错误指标(就是损失函数)最小化的方向(梯度)更新权重。该算法已经多次被重复发现，这是另一种更通用的被称为自动微分的技术在反向积累模式下的特例。
网络初始化
让我们用随机数来初始化网络权重
前向步骤：
这一步的目标就是把输入变量 X 向前传递到网络的每一层，直至计算出输出层 h_2 的向量。
这就是其中发生的计算过程：
以权重 W_1 为线性核对输入数据 X 做线性变换：
使用 Sigmoid 激活函数对加权和进行缩放，得到了第一个隐藏层 h_1 的值。请注意，原始的 2D 向量现在映射到了 3D 空间。
第 2 层 h_2 中发生了类似的过程。让我们首先来计算第一个隐藏层的加权和 z_2，它现在是输入数据。
然后计算它们的 Sigmoid 激活函数。向量 [0.37166596 0.45414264] 代表的是网络对给定的输入 X 计算出的对数概率或者预测向量。
计算整体损失
也被称为「实际值减去预测值」，这个损失函数的目标就是量化预测向量 h_2 和人工标签 y 之间的距离。