神经网络：从感知机到深度学习

1943 年，神经生理学家 Warren McCulloch 和数学家 Walter Pitts 发表了一篇开创性的论文，提出了一个大胆的简化：大脑的神经元可以被抽象为一个接受多路输入、产生一路输出的逻辑单元。

在生物学中，一个神经元通过树突接收来自其他神经元的电化学信号，当这些信号累积超过某个阈值时，神经元「发放」一个脉冲沿着轴突传向下一级。McCulloch 和 Pitts 把这个过程提炼为：

1. 每个输入 被赋予一个权重 （模拟突触的强度）
2. 所有加权输入求和：
3. 用一个激活函数决定输出：如果 超过阈值，输出 1；否则输出 0

这个极简的数学模型，就是今天所有神经网络的基础构件——感知机（Perceptron）。

让我们把感知机看作一个决策边界。考虑一个二维输入 ，感知机计算 ，然后在结果大于 0 时输出 1。这条决策边界 正是一条直线——感知机本质上是一个线性分类器。

下面这个交互演示让你拖动权重和偏置，直观感受决策边界如何变化：

如果感知机只用线性激活函数（即 ），那么无论堆叠多少层，最终的输出仍然是输入的线性组合——多层网络将退化为等效的单层。这就是为什么非线性激活函数至关重要。

下面我们对比几种常见的激活函数：

Sigmoid：

将任意实数映射到 ，适合输出概率。但在两端梯度趋近于 0（饱和区），导致深层网络的梯度消失问题。

Tanh：

零中心化（输出范围 ），比 Sigmoid 更有利于梯度传播，但仍会饱和。

ReLU：

计算极其简单（只需比较和取最大值），在 时梯度恒为 1，彻底解决梯度消失问题。但它「杀死」了负半轴的神经元——一旦某个神经元输出落入负区，其梯度为 0，可能永远不再更新（Dying ReLU 问题）。

Leaky ReLU

在负半轴保留一个微小的斜率（如 0.01），给「死掉」的神经元一个复苏的机会。

现在我们把单个感知机扩展为一整个前馈神经网络。一个典型的网络由以下部分组成：

• 输入层：接收原始数据（如图像的每个像素值）
• 隐藏层：一层或多层，每层包含多个神经元
• 输出层：产生最终预测（如分类概率）

信息从输入层开始，逐层向前流动，每一层的输出成为下一层的输入，这个过程叫前向传播（Forward Propagation）。

数学上，如果我们用 表示第 层的激活值（第 0 层就是输入 ），那么：

其中 是权重矩阵（每一行对应一个神经元的权重向量）， 是偏置向量， 是激活函数。

举个具体例子：假设我们有一个三层的网络做 MNIST 手写数字识别——输入 784 维（28×28 像素），两个隐藏层各 128 个神经元，输出 10 维（0-9 的分类概率）。那么参数规模为：

下面的演示让你亲手调节一个简单网络的权重，观察前向传播如何逐层改变数据的表示：

网络给出预测后，我们需要一个标量来衡量预测与真实答案之间的差距——这就是损失函数（Loss Function）。训练的目标就是最小化这个损失。

常见损失函数

均方误差（MSE）——回归任务：

交叉熵损失（Cross-Entropy）——分类任务（配合 Softmax 输出）：

其中 是真实标签的 one-hot 编码（正确类别为 1，其他为 0）， 是预测概率。交叉熵对错误预测的惩罚远大于正确预测——当模型对正确答案只给出 0.1 的概率时， 的损失远大于给出 0.9 时的 。

1986 年，Rumelhart、Hinton 和 Williams 发表了反向传播算法，真正让多层神经网络的训练变得可行。其核心思想极其优雅：利用微积分中的链式法则，从输出层向输入层逐层计算每个参数对损失的梯度。

想象一条很长的计算链：

我们要计算 ，其中 是第 1 层的某个权重。链式法则告诉我们：

这就像一条多米诺骨牌链条——输出端的微小变化会沿着网络反向传播，告诉我们每个参数应该如何调整。

反向传播的四步流程

1. 前向传播：输入经过网络，保存每一层的 和
2. 计算输出层误差：
3. 反向传播误差：
4. 计算梯度：，

符号 表示逐元素相乘。注意第 3 步中 通过权重矩阵的转置「反向」流向第 层——这就是「反向传播」名称的由来。

有了梯度，我们就可以更新参数。最基本的更新规则是梯度下降：

其中 是学习率（Learning Rate），它控制每一步更新的大小。

从 SGD 到 Adam

随机梯度下降（SGD）每次只用一个样本（或一个小批量）计算梯度，引入随机性反而有助于跳出局部最优：

带动量的 SGD累积历史梯度，像滚下山坡的球，加速收敛并平滑震荡：

Adam（Adaptive Moment Estimation）结合了动量和自适应学习率，为每个参数维护独立的学习率：

• 一阶矩（动量）：
• 二阶矩（自适应）：
• 参数更新：

Adam 是目前最广泛使用的优化器——它几乎不需要手动调节学习率就能在大多数任务上表现良好。

下面的三维可视化让你直观感受不同优化器在损失曲面上的行进路径：

一个拥有足够多参数的神经网络可以拟合任何函数——包括噪声。当模型在训练集上表现完美但在测试集上一塌糊涂时，就发生了过拟合。

过拟合的本质

过拟合意味着模型「记住」了训练数据的特例，而非学到普遍规律。在参数空间中，过拟合的模型通常权重值很大，导致决策边界剧烈弯曲以贴合每一个训练样本。

常用的正则化方法

L2 正则化（权重衰减）：在损失函数中加入权重的平方和惩罚项

这会驱使权重趋向小值，让决策边界更平滑。

Dropout：训练时随机「丢弃」一部分神经元（将其输出置零），强制网络不依赖任何单一神经元。这相当于训练了大量子网络的集成。

早停（Early Stopping）：当验证集误差开始上升时停止训练——简单而有效。

数据增强：对训练数据施加随机变换（旋转、翻转、裁剪、加噪），变相扩大训练集规模。

将全连接网络应用于图像有一个根本问题：如果输入是一张 的 RGB 图像（约 15 万像素），第一层哪怕只有 1000 个神经元，权重矩阵就有 1.5 亿个参数——这既不现实（需要海量数据训练），也极其低效（忽略了图像的空间结构）。

卷积层的核心思想

卷积核（Filter/Kernel）是一个小的权重矩阵（如 ），在输入图像上滑动，每一步计算局部区域的加权和。关键洞察：

• 局部连接：每个神经元只连接输入的一小片区域（感受野），大幅减少参数
• 权重共享：同一个卷积核在整个图像上复用，检测相同的特征模式
• 平移等变性：无论特征出现在图像的哪个位置，卷积核都能检测到

一个 （高度 × 宽度 × 通道数）的卷积核只有 27 个参数，却能检测边缘、纹理等局部模式。

CNN 的典型架构

输入图像 → [卷积 → ReLU → 池化] × N → 全连接层 → Softmax → 输出

• 卷积层提取特征（边缘 → 纹理 → 部件 → 物体）
• 池化层（如 MaxPooling）降采样，减少计算量并提供平移不变性
• 最后通过全连接层做分类决策

Transformer：「注意力就是你所需要的一切」

2017 年，Vaswani 等人的 Transformer 架构彻底改变了 NLP 和 CV 领域。其核心是自注意力机制（Self-Attention）：

它允许序列中的每个位置直接关注所有其他位置，而非像 RNN 那样逐步传递信息。这解决了长距离依赖问题，并且天然适合并行计算。

残差连接（Residual Connection）

He 等人在 ResNet 中引入的残差连接 让梯度能「跳过」层直接回传，使得训练 100+ 层的网络成为可能。

预训练与微调范式

从 BERT 到 GPT，现代深度学习的主流范式是：

1. 大规模预训练：在海量数据上以自监督方式训练一个巨型模型
2. 下游微调：在小规模特定任务数据上进行适应性训练
3. 提示工程 / 上下文学习：对超大模型，甚至不需要微调，通过精心设计的提示即可完成新任务

从 LeNet-5 的 6 万参数到 GPT-4 的万亿级参数，神经网络在 25 年间参数规模增长了约 300 亿倍。但核心原理始终如一：通过反向传播的梯度信号，在巨大的参数空间中搜索最优配置。

回顾整个旅程，神经网络的本质可以用五个核心概念概括：

1. 表示：网络通过逐层变换，将原始数据映射到越来越抽象的表示空间
2. 组合：每个神经元做简单的加权求和 + 非线性激活，大量组合产生表达能力
3. 误差信号：损失函数将「表现好坏」压缩为一个标量
4. 梯度传播：链式法则让误差信号从输出层高效流向每一个参数
5. 优化：梯度下降及其变体在参数空间中搜索最优解

推荐的学习路径

• 实践：用 PyTorch 或 TensorFlow 从零实现一个 MNIST 分类器
• 深入：阅读原始论文（AlexNet、ResNet、Attention Is All You Need）
• 拓展：学习自监督学习、生成模型（GAN、Diffusion）、强化学习中的神经网络