w wyl123ly 的博客
MD

卷积神经网络CNN

32 KB 2026.10.18 原文件

卷积神经网络CNN

定义

卷积神经网络(convolutional neural network, CNN)是以互相关运算替代全连接层中的稠密矩阵乘法、并在同一层内对全部空间位置共享同一组权值的神经网络;其每一层的输出是输入张量与一组可学习卷积核的局部加权和,因而参数数量与输入的空间尺寸无关。

逐项定义本篇使用的符号:

  • :一个批的输入张量。 为批大小, 为输入通道数, 为空间高与宽。PyTorch 采用 NCHW 顺序,即通道维在空间维之前。
  • :卷积核张量。 为输出通道数,也等于卷积核的个数; 为核的高与宽。
  • :每个输出通道一个偏置标量。
  • :步幅(stride),相邻两个输出位置在输入上对应的窗口起点之间的距离。
  • :填充(padding),在输入的每一边补零的行数与列数。
  • :空洞率(dilation),核元素之间插入的间隔数; 时为标准卷积。
  • :输出张量,也称特征图(feature map)。
  • :输出空间尺寸,由 共同决定。
  • :向下取整,返回不超过自变量的最大整数。

逐项定义术语:

  • 互相关(cross-correlation):两个离散序列的滑动内积,不翻转其中一个序列。深度学习文献与框架(含 PyTorch 的 Conv2d)实现的都是互相关。
  • 卷积(convolution):与互相关只差一次核翻转,即 对应互相关使用 。由于核是可学习参数,翻转不改变模型表达能力,故二者在实现层面等价。
  • 通道(channel):张量中与空间维并列的一维,表示同一空间位置上并列的多个特征或测量值。
  • 步幅(stride):卷积窗口每次滑动的像素数, 使输出分辨率按比例下降。
  • 填充(padding):在输入边界外补零,用于控制输出尺寸与保留边界信息。
  • 空洞卷积(dilated convolution):在核元素间插入零,使等效核尺寸变为 ,从而在不增加参数的前提下扩大感受野。
  • 感受野(receptive field):输出特征图上一个单元在原始输入上所依赖的区域边长。
  • 权值共享(weight sharing):同一层在不同空间位置使用同一组权值。
  • 平移等变性(translation equivariance):输入平移 时输出随之平移相同的 ;平移不变性(invariance)指输出不随平移改变。
  • 池化(pooling):在一个局部窗口内做最大值或均值聚合、从而降低空间分辨率的确定性运算。
  • 残差连接(residual connection):把某一层的输入直接加到其输出上的结构,形式为 。

为什么重要

  • 参数规模决定可行性。若用全连接层处理 的输入并输出 维特征,权值矩阵为 ,参数量 。以 float32 存储需 GiB,仅一层即超出多数训练卡的容量;对应的前向计算为 次乘加。同样提取 个 局部模式的卷积层只有 个权值,另有 个偏置。
  • 结构先验降低样本复杂度。图像具有两个稳定的统计性质:相邻像素强相关、同一局部模式可出现在任意位置。全连接层对输入像素的任意置换都能拟合,等于不使用这两个性质;卷积把局部性与平移平稳性写进参数共享约束,缩小假设空间,使相同样本量下泛化误差更小。
  • 没有卷积时,视觉与语音任务只能依赖全连接网络或手工特征,深层网络的参数与显存开销使训练不可行;图像分类、检测、分割的进展都以卷积为起点。
  • 在本库中的位置:前置为 神经网络与前向传播(张量形状与线性层)与 反向传播详解(参数共享下的梯度累加);本篇的池化与步幅承担下采样,与 正则化与调参 中的批归一化、数据增广 共同构成训练配方;后续 从RNN到注意力机制 讨论把局部权重推广为按内容计算的全局权重,注意力层的参数与序列长度无关,与卷积层的参数与空间尺寸无关属于同一类设计取舍。
  • 对应能力目标:懂原理对应「推导输出尺寸公式与感受野递推」;能复现对应「用 PyTorch 定义 CNN 并在 MNIST 上完成一个 epoch」;会评估对应「由参数量与计算量判断架构是否可行、由形状错误定位实现问题」。

原理与推导

1. 全连接层处理图像的参数量与结构问题

设输入图像展平为 ,全连接层输出 :

参数量为 。取 ,,,得 个权值。上式中每个输出单元与全部输入像素相连,权值矩阵的第 列只对第 个像素位置有效,因此同一模式出现在不同位置时必须由不同的权值分别表示。

由此产生两项代价:

  1. 参数随空间尺寸平方增长。输入从 增至 时,第一层参数量变为 倍。
  2. 平移等变性只能通过数据增广间接获得,需要大量样本覆盖同一模式在不同位置的组合。

图像的统计性质给出两条可用的结构约束:

  • 局部性:单个输出单元只需要 邻域内的输入,因为远距离像素与中心像素的联合统计量在自然图像中迅速衰减。
  • 平移平稳性:同一局部模式在不同位置的统计规律相同,因此可以共用同一组权值。

把这两条约束写成结构,就得到局部连接加权值共享,即卷积层。局部连接把每个输出的连接数从 降到 ;权值共享让 个核在所有 个位置上复用,使参数量不再含 。

2. 互相关的定义与公式

单通道二维离散互相关,核不翻转:

数学卷积把核翻转后再滑动:

两者满足 ,其中 表示互相关。由于 由训练得到,使用 还是 只改变参数记号,不改变可达函数集合,因此框架统一实现互相关并把该运算称为卷积。本篇后续公式均按互相关书写。

带通道、步幅、填充与空洞的完整形式:

其中下标落在 与 之外的 项取 ,这正是填充的实现方式。 遍历 到 ,每个 对应一个独立的核,因此 既是输出通道数也是核的个数。求和号内共有 次乘法,这一数量决定了单个输出元素的乘加数。

3. 通道、卷积核、步幅、填充、空洞

超参数含义对输出尺寸的影响PyTorch 默认值
输入通道数,必须与上一层输出一致不改变空间尺寸由 in_channels 指定
输出通道数,等于核的个数不改变空间尺寸由 out_channels 指定
核尺寸,决定单个输出的连接范围 增大则输出减小无默认值,必须给出
滑动步长 增大则输出近似按 缩小1
每边补零数 增大则输出增大0
核元素间隔,有效核尺寸 增大则输出减小1

通道维的语义需要单独说明: 个通道在同一空间位置上被同一个输出元素的求和号合并,因此卷积核在通道维上是全连接的,在空间维上是局部连接的。这与全连接层的区别只在空间维,与 1×1 卷积的区别只在空间核尺寸。

4. 输出尺寸公式推导

只推导高方向,宽方向同理。输出位置 对应的输入窗口起点为

窗口覆盖的输入下标为 ,,最右端下标为 。有效核尺寸记为 ,则最右端为 。

输出必须完全落在补零后的输入 内,因此需要

满足条件的 为非负整数,故

输出个数为 ,即

向下取整的来源是整除:当 不能被 整除时,最右侧剩余 个输入列不构成完整窗口,被直接丢弃,不参与任何输出。这是卷积不要求输入尺寸整除步幅的原因,也是「输出尺寸比手算少 1」的常见来源。

常见配置的数值:

说明
2831128核 3、填充 1 保持尺寸
2850124无填充,尺寸减少
2831214步幅 2 使尺寸减半
28202142×2 池化等价配置
2830213余数 1 被丢弃
3272215余数 1 被丢弃

「尺寸不变卷积」(same convolution)的条件可由公式反解:要求 且 ,则 ,即 。对奇数 且 有 ;对偶数 该式给出半整数,只能采用不对称填充或接受尺寸变化。 时任何填充都无法保持尺寸。

5. 参数量与计算量

参数量只与核尺寸、通道数、是否带偏置有关,与输入空间尺寸无关:

乘加数(MAC)与输入尺寸有关:

通用约定把一次乘加记为 2 次浮点运算,故 ,该计数不含偏置加法与激活函数。

以本篇第 6 节的小型网络为例,逐层数值:

层配置输出形状参数量MAC
conv1,,
pool1,00
conv2,,
pool2,00
fc

总参数量 。作为对照,同尺寸输入的 三层感知机参数量为 ,是本网络的 倍,且没有任何空间结构约束。

计算量的分布与参数量不同:conv2 的 MAC 是 conv1 的 倍。三个因子相乘得到该比值:输入通道数为 倍,输出通道数为 倍,空间面积为 ,即 。这说明参数量小不蕴含计算量小,部署时的延迟主要由 MAC 与内存访问决定。

6. 感受野递推

记第 层输出的感受野边长为 ,该层一个输出步长在原始输入上对应的像素距离为跳跃步长 。初始条件 ,。对第 层的核尺寸 与步幅 ,有递推

含义是: 是上一层相邻两个输出中心在输入上的间距,核每多覆盖一个上一层位置,感受野就扩大 。

对 卷积、 池化、 卷积、 池化、 卷积的组合,逐步计算:

层
初始——11
conv1311
pool1222
conv2312
pool2224
conv3314

第 3 个卷积层的一个单元依赖输入的 区域。该结果可按几何方式核对:conv3 的三个输入位置来自 pool2 的相邻输出,它们在原始输入上的间距为 ,两端相距 ;每个 pool2 输出自身的感受野为 ,两者相加得 ,与递推结果一致。

递推的两条推论:

  • 无步幅的 层 卷积,感受野为 。 时只有 ,感受野随深度线性增长,这是深层网络需要大量层数才能覆盖整幅图像的原因。
  • 步幅与空洞是放大感受野的两种手段:步幅同时降低分辨率,空洞在保持分辨率的前提下把 的等效作用放大到核间隔上,代价是采样稀疏。

7. 权值共享与平移等变性

平移算子 定义为 。对 、忽略边界、单通道互相关:

而

两式相等,因此 ,卷积对平移等变。等变性来自权值共享:核在所有位置相同,输入平移才等价于输出平移。

等变性在三种情况下被削弱或破坏:

  1. 填充。边界处的补零位置随平移改变, 接近边界时窗口含零,单个位置的输出不再严格随输入平移。
  2. 步幅。 时输出网格对输入平移只在 的整数倍上保持等变,其余平移量产生格点相位差。
  3. 池化与全局池化。局部最大池化使小范围平移不改变输出,得到局部不变性;全局平均池化把等变的特征图变为对平移不变的标量。等变指特征随输入移动,不变指特征不随输入移动,两者是不同性质,分类任务最终需要不变性,检测与分割需要等变性。

权值共享对反向传播的影响是梯度在位置上累加:由于所有位置共用 , 等于各位置贡献之和,具体形式与 反向传播详解 中参数共享层的处理一致。

8. 池化类型与作用

池化窗口尺寸 、步幅 、填充 的输出尺寸公式与卷积相同:

常见类型:

类型运算反向传播典型用途
最大池化窗口内取最大值梯度只回传至取到最大值的位置保留显著响应,分类网络
平均池化窗口内取均值梯度均分到窗口内全部位置平滑响应,需要位置平均时
全局平均池化对每个通道全部空间位置取均值同上,窗口等于整幅特征图替代末端全连接层,减少参数
自适应池化由目标输出尺寸反推窗口同对应类型输入尺寸可变时固定输出形状

作用有三项:降低空间分辨率从而减少后续计算量与参数量;增大跳跃步长 ,使后续层在相同核尺寸下覆盖更大的输入区域;通过取最大值或均值提供局部平移不变性。代价是丢弃窗口内的位置信息,对需要精确定位的任务(分割、检测的关键点)不利,现代架构常用步幅卷积替代池化,以避免不可学习的硬性下采样。

最大池化的反向传播是位置选择:前向记录窗口内最大值的位置,反向把上游梯度整体赋给该位置、其余位置为 。当窗口内存在并列最大值时,PyTorch 按检索顺序把梯度分配给第一个最大值的位置,因此前向记录的位置必须与反向使用的掩码一致。

9. 1×1 卷积

的卷积在每个空间位置上独立执行一次跨通道线性变换:

其作用是把 维通道向量映射为 维,参数量 ,MAC 为 。它与「对每个像素施加同一个全连接层」完全等价,区别在于 1×1 卷积保留空间维、可批量处理,并可直接嵌入卷积堆叠。

三种用途:

  1. 通道降维与升维,构成瓶颈结构。逐像素计算,、、 的组合乘加数为 ,两个 的 卷积为 ,前者约为后者的 。
  2. 在不改变空间尺寸的前提下增加非线性。每个 1×1 卷积后可接激活函数,等价于逐像素的多层感知机。
  3. 通道混合,使不同通道的特征在每个位置上被重新组合,常用于注意力模块与通道重标定。

10. 经典架构演进

模型年份深度关键结构参数量
LeNet-519987 层2 卷积 + 2 池化 + 3 全连接, 输入约
AlexNet20128 层ReLU、Dropout、重叠池化、双 GPU 训练约
VGG-16201416 层全部使用 卷积堆叠,通道数逐段翻倍约
ResNet-50201550 层残差块、批归一化、全局平均池化约

VGG 的设计依据可由参数量比较得到:两个 卷积的感受野等于一个 卷积,参数量为 与 ,比值为 ,且中间多一次非线性。这一结论使「小核堆叠」成为主流。

ResNet 解决的是退化问题(degradation problem):在 CIFAR-10 上, 层普通卷积网络的训练误差高于 层普通网络。训练误差随深度上升而非下降,说明问题不是过拟合,而是深层网络难以优化到恒等映射这一简单解。残差块把目标函数改写为

若最优映射接近恒等,网络只需把 的权值压到接近 ,比用非线性层精确拟合恒等映射容易。当输入输出通道数或空间尺寸不匹配时,用 卷积投影:。

梯度通路的解释直接由链式法则给出:

第二项含 ,可能很小;第一项是恒等项,把上游梯度原样传回,不经过任何权值乘法。将 个残差块串联,展开得

连乘的每一项都含 ,展开后存在 条路径,其中包含全部由恒等项组成的路径,其系数为 。因此梯度不会因深度增加而按指数衰减到零;这是残差结构相对普通深层网络在优化上的区别,也是 反向传播详解 中梯度连乘分析的一个直接应用。

关键直觉

卷积是带平移共享约束的局部线性算子

一个卷积层可视为两件事的组合:在每个位置上用同一个 维线性映射生成 个响应,以及把该映射在所有位置上复用。参数共享把「同一模式在不同位置」合并为同一个参数,局部连接把「与全部像素相关」缩减为「与邻域相关」。输出尺寸公式是这个滑动过程在有限输入上的计数结果,感受野递推是这些局部窗口逐层复合后的覆盖范围。等变性由共享产生,不变性由池化或全局聚合产生,二者不可混用。

例子与代码

手算一个互相关

输入 ,核 ,,:

按互相关公式,输出为 :

该核计算的是左上像素减右下像素,即一种对角方向的差分。若按数学卷积,需先把核旋转 得 ,输出符号整体相反。框架实现互相关,因此训练得到的核直接用于上式,无需旋转。

输出尺寸与参数量的数值核对

# 依赖:Python 3.10+,无需第三方库
def conv_out(h, k, p, s, d=1):
    """按 ⌊(H + 2p - d(k-1) - 1)/s⌋ + 1 计算输出边长"""
    k_eff = d * (k - 1) + 1          # 空洞卷积的等效核尺寸
    return (h + 2 * p - k_eff) // s + 1

for h, k, p, s in [(28, 3, 1, 1), (28, 5, 0, 1), (28, 3, 1, 2), (28, 3, 0, 2), (28, 2, 0, 2)]:
    print(f"H={h} k={k} p={p} s={s} -> {conv_out(h, k, p, s)}")

def conv_params(c_in, c_out, k, bias=True):
    return c_out * (c_in * k * k) + (c_out if bias else 0)

p1 = conv_params(1, 8, 3)            # 8 * (1*9 + 1)
p2 = conv_params(8, 16, 3)           # 16 * (8*9 + 1)
p_fc = (16 * 7 * 7) * 10 + 10        # 展平后接 10 类
print(p1, p2, p_fc, p1 + p2 + p_fc)

输出:

H=28 k=3 p=1 s=1 -> 28
H=28 k=5 p=0 s=1 -> 24
H=28 k=3 p=1 s=2 -> 14
H=28 k=3 p=0 s=2 -> 13
H=28 k=2 p=0 s=2 -> 14
80 1168 7850 9098

第三、四行说明同样的 与 在 时得到 、在 时得到 :前者 ,后者 ,两者除以 的余数都是 ,但可容纳的窗口起点数相差一。

感受野递推的数值验证

def receptive_field(layers):
    """layers 为 [(k, s), ...],返回最终感受野边长"""
    r, j = 1, 1                       # 初始感受野 1,跳跃 1
    for k, s in layers:
        r = r + (k - 1) * j           # 核每多覆盖一个位置,感受野扩大 j
        j = j * s                     # 步幅累积到跳跃
    return r

arch = [(3, 1), (2, 2), (3, 1), (2, 2), (3, 1)]   # conv-pool-conv-pool-conv
print("感受野:", receptive_field(arch))
print("10 层 3x3 卷积:", receptive_field([(3, 1)] * 10))

输出:

感受野: 18
10 层 3x3 卷积: 21

PyTorch 定义小型 CNN 并在 MNIST 上训练一个 epoch

依赖 PyTorch 2.x 与 torchvision 0.15 以上。先打印每层输出形状与参数量,再训练一个 epoch。

import torch
import torch.nn as nn
from torch.utils.data import DataLoader
from torchvision import datasets, transforms

torch.manual_seed(0)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")


class SmallCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv2d(1, 8, kernel_size=3, stride=1, padding=1),   # 1x28x28 -> 8x28x28
            nn.ReLU(),
            nn.MaxPool2d(2),                                        # 8x28x28 -> 8x14x14
            nn.Conv2d(8, 16, kernel_size=3, stride=1, padding=1),   # 8x14x14 -> 16x14x14
            nn.ReLU(),
            nn.MaxPool2d(2),                                        # 16x14x14 -> 16x7x7
        )
        self.classifier = nn.Sequential(
            nn.Flatten(),                                           # 16x7x7 -> 784
            nn.Linear(16 * 7 * 7, 10),
        )

    def forward(self, x):
        return self.classifier(self.features(x))


def trace(model, x):
    """在叶子模块上挂前向钩子,打印输出形状与本层参数量"""
    handles = []

    def make_hook(name):
        def hook(module, inputs, output):
            if not isinstance(output, torch.Tensor):
                return
            n = sum(p.numel() for p in module.parameters(recurse=False))
            print(f"{name:<16}{str(tuple(output.shape)):<24}{n:>8}")
        return hook

    for name, m in model.named_modules():
        if len(list(m.children())) == 0:        # 只挂叶子模块,避免重复打印容器
            handles.append(m.register_forward_hook(make_hook(name)))
    model.eval()
    with torch.no_grad():
        model(x)
    for h in handles:
        h.remove()


transform = transforms.Compose([
    transforms.ToTensor(),                       # uint8 [0,255] -> float32 [0,1]
    transforms.Normalize((0.1307,), (0.3081,)),  # MNIST 训练集均值与标准差
])
train_ds = datasets.MNIST(root="./data", train=True, download=True, transform=transform)
test_ds = datasets.MNIST(root="./data", train=False, download=True, transform=transform)
train_loader = DataLoader(train_ds, batch_size=64, shuffle=True)
test_loader = DataLoader(test_ds, batch_size=1000, shuffle=False)

model = SmallCNN().to(device)
print(f"{'层':<16}{'输出形状':<24}{'参数量':>8}")
x_demo, _ = next(iter(DataLoader(train_ds, batch_size=4)))
trace(model, x_demo.to(device))
print(f"{'总计':<16}{'':<24}{sum(p.numel() for p in model.parameters()):>8}")

opt = torch.optim.Adam(model.parameters(), lr=1e-3)
loss_fn = nn.CrossEntropyLoss()

model.train()
for step, (xb, yb) in enumerate(train_loader):
    xb, yb = xb.to(device), yb.to(device)
    opt.zero_grad()                 # 梯度累积,必须每步清零
    logits = model(xb)
    loss = loss_fn(logits, yb)
    loss.backward()
    opt.step()
    if (step + 1) % 200 == 0:
        print(f"step {step + 1:4d}/{len(train_loader)}  loss {loss.item():.4f}")

model.eval()                        # 切换 eval 以固定 BatchNorm 统计量、关闭 Dropout
correct = 0
with torch.no_grad():
    for xb, yb in test_loader:
        xb, yb = xb.to(device), yb.to(device)
        correct += (model(xb).argmax(dim=1) == yb).sum().item()
print(f"测试集准确率 {correct / len(test_ds):.4f}")

形状输出是确定的:

层              输出形状                        参数量
features.0      (4, 8, 28, 28)                    80
features.1      (4, 8, 28, 28)                     0
features.2      (4, 8, 14, 14)                     0
features.3      (4, 16, 14, 14)                 1168
features.4      (4, 16, 14, 14)                    0
features.5      (4, 16, 7, 7)                      0
classifier.0    (4, 784)                           0
classifier.1    (4, 10)                         7850
总计                                             9098

训练部分的数值随随机种子、设备与 cuDNN 的非确定性浮动,可核对的量级为:初始批损失接近 ;一个 epoch 后批损失降到 附近,测试集准确率在 至 之间。若损失停在 附近不下降,首先检查是否漏掉 opt.zero_grad() 或把标签传成了 one-hot。

trace 在 eval 模式下调用,目的是让批归一化使用运行统计量;当前网络不含批归一化,该设置不影响形状。钩子只挂在叶子模块上,因此容器 features 与 classifier 不会被重复统计;recurse=False 保证卷积层的参数量不包含其内部其他参数。

易错点

常见错误

- 通道顺序写成 NHWC。PyTorch 的 Conv2d 要求 。若把 直接输入, 与实际的 不符会报通道数错误;若 恰好等于 ,则卷积在错误的维度上滑动,程序不报错而输出形状错误。torchvision 的 ToTensor() 已输出 CHW,无须手工转置。

- 误用「padding 使尺寸不变」。 只在 、、 为奇数时成立。 时该式给 ,PyTorch 直接拒绝非整数填充; 时任何整数填充都不能保持尺寸。需要用 padding="same" 时,PyTorch 要求 stride=1。

- 混淆 Conv2d 与 MaxPool2d 的默认参数。Conv2d 默认 stride=1, padding=0,MaxPool2d(2) 默认 stride=kernel_size=2。把池化写成 MaxPool2d(2, stride=1) 会使尺寸只减 1,后续全连接的输入维度随之出错,报错信息为矩阵乘法维度不匹配。

- 池化后尺寸按 手算。 成立, 而非 ,向下取整丢弃一个像素。连续多次池化时误差累积,,若按四舍五入写成 则全连接层维度必然错误。

- 批归一化的位置与状态错误。标准顺序为卷积、批归一化、激活;把批归一化放在激活之后会改变非线性前的分布假设。推理时必须 model.eval(),否则批统计量持续更新且用当前批的均值方差做归一化,单样本推理结果不稳定。批归一化应使用 BatchNorm2d 而非 BatchNorm1d,后者只接受 或 形状,四维输入会直接报维度错误。

- 展平顺序与维度计算错误。nn.Flatten() 默认从第 1 维开始展平,输出 ;若池化次数或填充与设计不符, 被写成 ,线性层报维度错误。相反方向的错误是形状恰好相同而通道顺序被打乱,此时不报错但精度异常。

关联笔记

  • 前置:神经网络与前向传播 —— 提供张量形状约定、线性层与激活函数的定义,本篇的卷积层是它的局部连接推广。
  • 前置:反向传播详解 —— 参数共享层的梯度按位置累加,池化的梯度按最大值位置路由,均以该篇的计算图规则为基础。
  • 后续:正则化与调参 —— 批归一化、Dropout 与权重衰减在卷积网络中的放置位置与调参顺序由该篇统一处理。
  • 后续:PyTorch实战入门 —— 把本篇的模块拼装、数据加载与训练循环整理为完整工程流程。
  • 对照:从RNN到注意力机制 —— 卷积的权重与位置绑定且局部,注意力的权重由内容计算且全局,两条路径的归纳偏置差异是理解 Transformer 的起点。

达标检测

  • [ ] 计算 输入接 维全连接层的参数量与 float32 显存占用;写出含 的互相关公式与参数量公式,并计算 、、、 的卷积层参数量与输出空间尺寸(输入 ),说明两者参数量的差异来源。
  • [ ] 由窗口起点与右端下标的不等式推导输出尺寸公式,并计算 与 的输出边长。
  • [ ] 用递推公式计算 conv3-pool2-conv3-pool2-conv3 的感受野,说明为何 10 层 卷积的感受野只有 21。
  • [ ] 证明 、无填充时互相关与平移算子可交换,并指出填充与步幅分别在哪一环节破坏该等式。
  • [ ] 运行本篇 PyTorch 代码,核对 conv2 与 conv1 的参数量比值为 ,并说明该比值由哪些超参数决定。
  • [ ] 指出把 输入 Conv2d 时可能出现的两种后果,以及 MaxPool2d(2, stride=1) 引发的具体报错。

参考来源

  • Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 9 章「Convolutional Networks」 —— 对应本篇互相关定义、稀疏连接与参数共享的动机、池化的讨论以及卷积的等变性分析。
  • d2l.ai《动手学深度学习》,第 6 章「卷积神经网络」 —— 对应输出尺寸公式、填充与步幅的数值示例、多输入多输出通道与 1×1 卷积的实现视角。
  • He, Zhang, Ren, Sun, Deep Residual Learning for Image Recognition, arXiv:1512.03385 —— 对应本篇退化问题的表述、残差块结构与恒等映射的优化论证。
  • Stanford CS231n 课程笔记,Convolutional Neural Networks 与 Convolutional Networks: Architectures —— 对应感受野、参数量与计算量的逐层核算,以及 LeNet、AlexNet、VGG、ResNet 的结构对比。
  • PyTorch 官方文档,torch.nn.Conv2d、torch.nn.MaxPool2d、torch.nn.Flatten —— 对应默认参数、输出尺寸公式在框架中的实现与 padding="same" 的适用条件。