---
tags: [AI, 机器学习, 分类]
阶段: 03-经典机器学习
难度: ★★☆
created: 2026-10-18
related: "[[线性回归]], [[损失函数]], [[模型评估与交叉验证]], [[正则化与调参]]"
---

# 逻辑回归

## 定义

> 逻辑回归用 sigmoid 函数把输入的仿射组合映射为二分类概率，即 $P(y=1\mid\mathbf{x})=\sigma(\mathbf{w}^{\top}\mathbf{x}+b)$，并以伯努利似然的负对数（交叉熵）为损失。

符号定义：

- $\mathbf{x}\in\mathbb{R}^{d}$：特征向量；$y\in\{0,1\}$：二分类标签；$n$：样本数。
- $\mathbf{w}\in\mathbb{R}^{d}$：权重向量；$b\in\mathbb{R}$：截距；$z=\mathbf{w}^{\top}\mathbf{x}+b$：线性得分，也称 logit。
- **sigmoid 函数**：$\sigma(z)=\dfrac{1}{1+e^{-z}}$，把实数映射到 $(0,1)$。
- $p=P(y=1\mid\mathbf{x})=\sigma(z)$：模型给出的正类概率；$1-p=\sigma(-z)$ 为负类概率。
- **几率**（odds）：$\dfrac{p}{1-p}$；**对数几率**（log-odds）：$\ln\dfrac{p}{1-p}$。
- $\mathbf{X}\in\mathbb{R}^{n\times d}$：设计矩阵，第 $i$ 行为 $\mathbf{x}_i^{\top}$；$\mathbf{y}\in\{0,1\}^{n}$：标签向量；$\mathbf{p}\in(0,1)^{n}$：预测概率向量；$\mathbf{1}$：全 $1$ 向量。
- **交叉熵损失**（cross-entropy loss）：$J(\mathbf{w},b)=-\dfrac{1}{n}\sum_{i=1}^{n}\left[y_i\ln p_i+(1-y_i)\ln(1-p_i)\right]$，即平均负对数似然。
- **决策边界**（decision boundary）：预测类别发生改变的输入集合；取阈值 $0.5$ 时为超平面 $\mathbf{w}^{\top}\mathbf{x}+b=0$。
- **阈值**（threshold）$\tau$：当 $p\ge\tau$ 时判为正类。默认 $\tau=0.5$，不平衡数据中需调整。

## 为什么重要

- 逻辑回归是二分类的概率化基线：输出落在 $(0,1)$，可直接与代价矩阵、阈值和排序指标结合，而线性回归的输出无界，不能解释为概率。
- 损失函数是凸的，梯度形式简单，任意局部最优即全局最优；这使它成为检验优化实现与推导正确性的标准模型。
- 系数具有对数几率解释：$w_j$ 是 $x_j$ 增加一个单位时对数几率的变化量，因此在需要解释方向与强度的场景中仍有使用价值。
- 它是 [[损失函数]] 中交叉熵的原型，也是神经网络分类层的组成部分：单层线性变换加 sigmoid 即逻辑回归，多层堆叠后分类头仍是同一形式。
- 多分类的 softmax 回归是逻辑回归的直接推广，其梯度 $\mathbf{X}^{\top}(\mathbf{P}-\mathbf{Y})/n$ 与二分类形式一致。
- 类别不平衡与阈值选择等问题在此以最小规模呈现，可直接迁移到 [[模型评估与交叉验证]] 的指标体系中。

## 原理与推导

### 1. 从线性回归到分类

若直接把线性回归用于二分类，输出 $z=\mathbf{w}^{\top}\mathbf{x}+b$ 取值范围为 $\mathbb{R}$，需人为设定阈值；以均方误差优化时，远离边界的正确样本仍会产生梯度，模型会把权重推向使 $|z|$ 增大的方向，对异常点敏感。分类需要的是条件概率 $P(y=1\mid\mathbf{x})\in(0,1)$，因此引入单调可微的链接函数把 $z$ 压缩到 $(0,1)$，并改用伯努利似然构造损失。

### 2. sigmoid 函数与对数几率

$$
\sigma(z)=\frac{1}{1+e^{-z}}.
$$

$\sigma$ 单调递增，$\sigma(0)=0.5$，$z\to+\infty$ 时 $\sigma(z)\to1$，$z\to-\infty$ 时 $\sigma(z)\to0$；且 $\sigma(-z)=1-\sigma(z)$，故 $1-p=\sigma(-z)$。对 $z$ 求导得

$$
\sigma'(z)=-\left(1+e^{-z}\right)^{-2}\cdot\left(-e^{-z}\right)
=\frac{e^{-z}}{\left(1+e^{-z}\right)^{2}}
=\frac{1}{1+e^{-z}}\cdot\frac{e^{-z}}{1+e^{-z}}
=\sigma(z)\left(1-\sigma(z)\right).
$$

由 $\sigma$ 单调，其反函数存在，称为 logit 函数：

$$
\operatorname{logit}(p)=\ln\frac{p}{1-p}=z=\mathbf{w}^{\top}\mathbf{x}+b.
$$

因此逻辑回归是对对数几率作线性模型。系数解释：$x_j$ 增加一个单位，对数几率增加 $w_j$，几率乘以 $e^{w_j}$；$b$ 是全部特征为零时的基准对数几率。该解释只在其他特征保持不变的条件下成立。

### 3. 伯努利似然推导交叉熵损失

设样本独立，$y_i\mid\mathbf{x}_i\sim\operatorname{Bernoulli}(p_i)$，$p_i=\sigma(z_i)$，$z_i=\mathbf{w}^{\top}\mathbf{x}_i+b$。似然函数为

$$
L(\mathbf{w},b)=\prod_{i=1}^{n}p_i^{y_i}\left(1-p_i\right)^{1-y_i}.
$$

取对数：

$$
\ell(\mathbf{w},b)=\sum_{i=1}^{n}\left[y_i\ln p_i+(1-y_i)\ln(1-p_i)\right].
$$

利用 $p_i=\dfrac{1}{1+e^{-z_i}}$ 与 $1-p_i=\dfrac{e^{-z_i}}{1+e^{-z_i}}$，有

$$
\ln p_i=-\ln\left(1+e^{-z_i}\right),\qquad
\ln(1-p_i)=-z_i-\ln\left(1+e^{-z_i}\right).
$$

代入 $\ell$：

$$
\ell=\sum_{i=1}^{n}\left[-y_i\ln\left(1+e^{-z_i}\right)-(1-y_i)z_i-(1-y_i)\ln\left(1+e^{-z_i}\right)\right].
$$

合并前两项与第三项中的对数：

$$
\ell=\sum_{i=1}^{n}\left[-\ln\left(1+e^{-z_i}\right)-(1-y_i)z_i\right].
$$

再用恒等式 $-\ln(1+e^{-z})=-\ln\left(e^{z}(1+e^{-z})\right)+z=-\ln(1+e^{z})+z$，得

$$
\ell=\sum_{i=1}^{n}\left[\ln\left(1+e^{z_i}\right)-y_iz_i\right].
$$

负对数似然除以 $n$ 即交叉熵损失：

$$
J(\mathbf{w},b)=-\frac{1}{n}\ell
=\frac{1}{n}\sum_{i=1}^{n}\left[\ln\left(1+e^{z_i}\right)-y_iz_i\right]
=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\ln p_i+(1-y_i)\ln(1-p_i)\right].
$$

两种写法等价。第一式在数值计算中更稳定：$\ln(1+e^{z})$ 可直接用 `np.logaddexp(0, z)`，避免 $p_i$ 接近 $0$ 或 $1$ 时 $\ln p_i$、$\ln(1-p_i)$ 无定义或数值溢出。

### 4. 梯度推导

先对单个样本的损失项 $\ell_i=\ln(1+e^{z_i})-y_iz_i$ 求导。由 $\dfrac{\mathrm{d}}{\mathrm{d}z}\ln(1+e^{z})=\dfrac{e^{z}}{1+e^{z}}=\sigma(z)$，得

$$
\frac{\partial \ell_i}{\partial z_i}=\sigma(z_i)-y_i=p_i-y_i.
$$

再由 $z_i=\mathbf{w}^{\top}\mathbf{x}_i+b$ 得 $\dfrac{\partial z_i}{\partial\mathbf{w}}=\mathbf{x}_i$、$\dfrac{\partial z_i}{\partial b}=1$。由于 $J=\frac{1}{n}\sum_i\ell_i$，链式法则给出

$$
\nabla_{\mathbf{w}}J=\frac{1}{n}\sum_{i=1}^{n}\left(p_i-y_i\right)\mathbf{x}_i=\frac{1}{n}\mathbf{X}^{\top}\left(\mathbf{p}-\mathbf{y}\right),
\qquad
\frac{\partial J}{\partial b}=\frac{1}{n}\sum_{i=1}^{n}\left(p_i-y_i\right).
$$

维度检查：$\mathbf{X}^{\top}$ 为 $d\times n$，$\mathbf{p}-\mathbf{y}$ 为 $n\times1$，乘积为 $d\times1$，与 $\mathbf{w}$ 同型。梯度的第 $j$ 个分量为「预测误差 $p_i-y_i$ 以特征 $x_{ij}$ 为权重的加权和」：预测偏高时 $p_i-y_i>0$，梯度方向使 $w_j$ 减小。

### 5. 凸性

对梯度再求一次导。由 $\dfrac{\partial p_i}{\partial z_i}=p_i(1-p_i)$，

$$
\nabla^{2}_{\mathbf{w}}J=\frac{1}{n}\mathbf{X}^{\top}\mathbf{S}\mathbf{X},
\qquad
\mathbf{S}=\operatorname{diag}\left(p_1(1-p_1),\dots,p_n(1-p_n)\right).
$$

对任意 $\mathbf{v}\in\mathbb{R}^{d}$，

$$
\mathbf{v}^{\top}\nabla^{2}J\,\mathbf{v}
=\frac{1}{n}\sum_{i=1}^{n}p_i(1-p_i)\left(\mathbf{x}_i^{\top}\mathbf{v}\right)^{2}\ge0,
$$

因为 $p_i\in(0,1)$ 使权重 $p_i(1-p_i)>0$。故 Hessian 半正定，$J$ 为凸函数，任何驻点都是全局最小点。若 $\mathbf{X}$ 列满秩且所有 $p_i\in(0,1)$，则 $\mathbf{S}$ 正定，Hessian 正定，最小点唯一。凸性保证梯度下降不会陷入局部极小；牛顿法（迭代重加权最小二乘，IRLS）在最优点附近具有二次收敛速度。

需要区分两种情形：若数据线性可分，存在 $\|\mathbf{w}\|\to\infty$ 使所有样本被正确分类且 $p_i\to y_i$，负对数似然趋于 $0$ 但参数范数无界，最大似然解不存在；加入 L2 正则化后目标强凸，解存在。

### 6. 决策边界

取阈值 $0.5$，由 $\sigma(z)=0.5\iff z=0$，决策边界为

$$
\mathbf{w}^{\top}\mathbf{x}+b=0,
$$

即一个超平面，法向量为 $\mathbf{w}$。点 $\mathbf{x}$ 到边界的有符号距离为 $z/\|\mathbf{w}\|$，符号表示所在一侧。若阈值取 $\tau$，边界变为

$$
\mathbf{w}^{\top}\mathbf{x}+b=\ln\frac{\tau}{1-\tau},
$$

改变 $\tau$ 只使边界平行移动，不改变方向。逻辑回归的边界是线性的；需要非线性边界时，可对特征做非线性变换 $\phi(\mathbf{x})$ 后仍用线性模型，或使用核方法与神经网络。

### 7. 多分类 softmax 与交叉熵

对有 $K$ 个类别的任务，为每类设置参数 $\mathbf{w}_k$，得分为 $z_k=\mathbf{w}_k^{\top}\mathbf{x}$，softmax 输出

$$
p_k=\frac{e^{z_k}}{\sum_{j=1}^{K}e^{z_j}},\qquad k=1,\dots,K.
$$

损失为负对数似然 $J=-\dfrac{1}{n}\sum_i\ln p_{i,y_i}$。对单个样本的损失 $-\ln p_{i,y_i}$ 关于得分求导，得

$$
\frac{\partial\left(-\ln p_{i,y_i}\right)}{\partial z_{i,k}}=p_{i,k}-\mathbb{1}\left[y_i=k\right],
$$

其中 $\mathbb{1}[\cdot]$ 为示性函数。写成矩阵形式，设 $\mathbf{Z}=\mathbf{X}\mathbf{W}$、$\mathbf{P}=\operatorname{softmax}(\mathbf{Z})$、$\mathbf{Y}$ 为标签的 one-hot（独热）矩阵，则

$$
\nabla_{\mathbf{W}}J=\frac{1}{n}\mathbf{X}^{\top}\left(\mathbf{P}-\mathbf{Y}\right).
$$

该式与二分类的 $\mathbf{X}^{\top}(\mathbf{p}-\mathbf{y})/n$ 同形。softmax 具有平移不变性：给全部 $z_k$ 加同一常数不改变 $p_k$，故参数不唯一，需用权重衰减或固定一个类别的参数消除冗余。$K=2$ 时 softmax 退化为 sigmoid：令 $z=z_1-z_0$，则 $p_1=\sigma(z)$。

### 8. 类别不平衡与阈值选择

设正类比例为 $\pi$，并记 $TP$、$FP$、$FN$、$TN$ 分别为真正例、假正例、假负例、真负例的样本数。全部判为负类时准确率为 $1-\pi$；当 $\pi=0.1$ 时准确率为 $0.9$，但正类召回率为 $0$。因此不平衡数据不能只用准确率，需报告

$$
\text{precision}=\frac{TP}{TP+FP},\qquad
\text{recall}=\frac{TP}{TP+FN},\qquad
F_1=\frac{2\cdot\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}}.
$$

阈值 $\tau$ 控制二者的权衡：降低 $\tau$ 使更多样本判为正类，召回率上升、精确率下降。$\tau$ 应在验证集上按目标指标选择，而不是固定为 $0.5$。若误报与漏报代价不同，可最小化期望代价

$$
C(\tau)=c_{FP}\cdot FP(\tau)+c_{FN}\cdot FN(\tau),
$$

其中 $c_{FP}$、$c_{FN}$ 分别为假阳性与假阴性的单位代价。类别加权是另一种处理方式：给正类损失乘以 $c_1>1$，等价于改变优化目标中的类别比例，但不等于在验证集上调整阈值，两者应分别实验。不平衡严重时，PR 曲线比 ROC 曲线更能反映正类检索性能。

### 9. 正则化

在损失中加入 L2 惩罚：

$$
J_{\lambda}(\mathbf{w},b)=J(\mathbf{w},b)+\frac{\lambda}{2}\|\mathbf{w}\|^{2},
\qquad
\nabla_{\mathbf{w}}J_{\lambda}=\frac{1}{n}\mathbf{X}^{\top}\left(\mathbf{p}-\mathbf{y}\right)+\lambda\mathbf{w}.
$$

截距 $b$ 通常不惩罚。正则化的作用有二：线性可分时限制参数范数，使解存在；特征相关时降低系数方差。L1 惩罚 $\lambda\|\mathbf{w}\|_{1}$ 产生稀疏解，可用于特征选择。scikit-learn 的 `C` 与 $\lambda$ 的关系为 $\lambda=1/(nC)$（`penalty='l2'` 时按该约定换算），调参时需固定约定以免混淆。正则化强度的选择见 [[正则化与调参]]。

## 关键直觉

> [!tip] 机制性直觉
> 逻辑回归是对对数几率施加线性模型：$\ln\frac{p}{1-p}=\mathbf{w}^{\top}\mathbf{x}+b$，再用伯努利似然把概率预测转化为交叉熵。梯度 $\mathbf{X}^{\top}(\mathbf{p}-\mathbf{y})/n$ 与线性回归的最小二乘梯度同形，区别仅在 $\mathbf{p}$ 经过 sigmoid 而非恒等映射；因此两者的实现结构相同，差异全部来自链接函数与损失。凸性来自 Hessian $\mathbf{X}^{\top}\mathbf{S}\mathbf{X}/n$ 的二次型非负，与最小二乘的 $\mathbf{X}^{\top}\mathbf{X}/n$ 同构，只是每个样本的权重换成 $p_i(1-p_i)$。

## 例子与代码

数据为二维二分类：两类均值分别为 $(-1,-0.6)$ 与 $(1.2,1.0)$，协方差不同，故线性逻辑回归的最优边界不必垂直于两类中心的连线。代码标准化特征后用梯度下降训练，并输出准确率、混淆矩阵、Hessian 特征值与决策边界。环境为 NumPy 2.x。

```python
import numpy as np

rng = np.random.default_rng(7)
X0 = rng.normal([-1.0, -0.6], [1.0, 0.8], size=(200, 2))
X1 = rng.normal([1.2, 1.0], [1.0, 1.2], size=(200, 2))
X = np.vstack([X0, X1])
y = np.r_[np.zeros(200), np.ones(200)]

mu, sd = X.mean(axis=0), X.std(axis=0)
Xs = (X - mu) / sd
A = np.column_stack([np.ones(len(X)), Xs])   # 第 0 列为偏置项

def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))

def nll(theta):
    # 逐样本二元交叉熵 log(1+e^z) - y*z 的平均值
    z = A @ theta
    return np.mean(np.logaddexp(0.0, z) - y * z)

def predict(theta, threshold=0.5):
    return (sigmoid(A @ theta) >= threshold).astype(int)

theta = np.zeros(A.shape[1])
lr, tol = 1.5, 1e-8
for it in range(20000):
    p = sigmoid(A @ theta)
    grad = A.T @ (p - y) / len(y)             # ∇J = X^T(σ(Xθ)-y)/n
    theta -= lr * grad
    if np.max(np.abs(grad)) < tol:
        break

p = sigmoid(A @ theta)
pred = predict(theta)
tp = int(np.sum((pred == 1) & (y == 1)))
tn = int(np.sum((pred == 0) & (y == 0)))
fp = int(np.sum((pred == 1) & (y == 0)))
fn = int(np.sum((pred == 0) & (y == 1)))
print(f"迭代 {it + 1} 次, NLL = {nll(theta):.4f}")
print(f"准确率 = {np.mean(pred == y):.3f}")
print("混淆矩阵 (TN, FP / FN, TP) =", [[tn, fp], [fn, tp]])
print(f"precision = {tp / (tp + fp):.3f}, recall = {tp / (tp + fn):.3f}")

H = (A.T * (p * (1 - p))) @ A / len(y)        # A^T diag(S) A / n
print("Hessian 特征值 =", np.round(np.linalg.eigvalsh(H), 5))

w_s, b_s = theta[1:], theta[0]
w = w_s / sd                                  # 换回原始尺度
b = b_s - np.sum(w_s * mu / sd)
print("原始尺度 [b, w1, w2] =", np.round([b, *w], 4))
print(f"决策边界: x2 = {-w[0] / w[1]:.4f} * x1 + {-b / w[1]:.4f}")

# 用字符网格表示决策区域：# 表示 p >= 0.5，. 表示 p < 0.5
for x2v in np.linspace(3.0, -3.0, 13):
    row = "".join("#" if b + w[0] * x1v + w[1] * x2v >= 0 else "."
                  for x1v in np.linspace(-4.0, 4.0, 33))
    print(row)
```

代码说明：

- 特征标准化只改变优化条件，不改变决策边界：换回原始尺度后边界等价。若不标准化，梯度下降需要更小的学习率和更多迭代。
- 损失用 `np.logaddexp(0, z) - y*z` 计算，避免显式计算 $\ln p$ 时 $p$ 下溢为 $0$。
- 梯度与第 4 节公式逐项对应；`A.T @ (p - y) / len(y)` 的形状为 $(3,)$，与 `theta` 一致。
- Hessian 用 `(A.T * (p * (1 - p))) @ A / n` 计算，等价于 $\mathbf{A}^{\top}\operatorname{diag}(\mathbf{S})\mathbf{A}/n$，用于验证半正定。
- 字符网格按原始尺度坐标绘制，每行对应一个 $x_2$，每列对应一个 $x_1$，`#` 区域为预测正类。去掉网格不影响训练，但会失去对边界位置的直观核对。

运行结果：

```text
迭代 1317 次, NLL = 0.1701
准确率 = 0.925
混淆矩阵 (TN, FP / FN, TP) = [[184, 16], [14, 186]]
precision = 0.921, recall = 0.930
Hessian 特征值 = [0.00692 0.032   0.05281]
原始尺度 [b, w1, w2] = [-0.0742  3.0478  1.6974]
决策边界: x2 = -1.7955 * x1 + 0.0437
..........#######################
...........######################
............#####################
.............####################
..............###################
...............##################
.................################
..................###############
...................##############
....................#############
.....................############
......................###########
.......................##########
```

结果解读：混淆矩阵给出 $TN=184$、$FP=16$、$FN=14$、$TP=186$，准确率 $0.925$，精确率与召回率接近，说明阈值 $0.5$ 在该数据上大致平衡。决策边界为 $x_2=-1.7955x_1+0.0437$，斜率为负，正类区域位于直线右上方；两类中心连线的斜率为正，说明边界方向并非简单垂直于中心连线，与两类协方差不同一致。Hessian 的三个特征值均为正，与第 5 节的严格凸结论一致。

类别不平衡与阈值选择的实验：

为观察阈值效应，另取 500 个样本，其中正类 50 个、负类 450 个（正类占 $10\%$），两类均值分别为 $(0,0)$ 与 $(1.5,0.8)$，标准差均为 $1.2$，随机种子取 $11$；标准化后用与上面相同的梯度下降算法（学习率 $2.0$，迭代至梯度无穷范数小于 $10^{-9}$）训练。在该数据集上按不同阈值统计指标（未另划分测试集，此处只比较阈值间的相对变化）：

| 阈值 $\tau$ | precision | recall | $F_1$ |
| --- | --- | --- | --- |
| 0.5 | 0.769 | 0.200 | 0.317 |
| 0.4 | 0.688 | 0.220 | 0.333 |
| 0.3 | 0.500 | 0.320 | 0.390 |
| 0.2 | 0.370 | 0.600 | 0.458 |
| 0.1 | 0.259 | 0.760 | 0.386 |

正类仅占 $10\%$，全部判为负类即可得到 $0.9$ 的准确率，而模型在 $\tau=0.5$ 时准确率为 $0.914$，看起来提升很小；但召回率仅 $0.2$，即 $80\%$ 的正类被漏判。把阈值降到 $0.2$，召回率升到 $0.6$，$F_1$ 从 $0.317$ 升到 $0.458$。该结果说明阈值必须按目标指标在验证集上选择，准确率不能单独作为不平衡数据的评价指标。

## 易错点

> [!warning] 常见错误
> - 用线性回归加 $0.5$ 阈值做分类，并把输出直接解释为概率。线性输出可超出 $[0,1]$，且均方误差对远离边界的正确样本仍产生梯度。
> - 把 $\sigma(z)$ 当作概率密度。它是累积分布函数形式的映射，密度为 $\sigma'(z)=\sigma(z)(1-\sigma(z))$；对 $z$ 积分才得到概率。
> - 交叉熵中 $y$ 与 $1-y$ 的位置写反，或漏除以 $n$。位置写反会使损失在标签为 $1$ 时惩罚 $1-p$，梯度符号随之错误；漏除 $n$ 只改变学习率尺度，但与其他正则项组合时会改变有效惩罚强度。
> - 在线性可分数据上不加正则化直接最大化似然。此时 $\|\mathbf{w}\|\to\infty$、损失趋近 $0$ 但解不存在唯一有限值，表现为训练持续不收敛或权重数值爆炸。
> - 在不平衡数据上用准确率选模型或固定阈值 $0.5$。多数类占比高时，退化解即可获得高准确率；应报告 precision、recall、$F_1$ 或 PR 曲线，并在验证集上选阈值。
> - 混淆二分类 sigmoid 与多分类 softmax。多标签分类允许每个类别独立取 $1$，应使用 $K$ 个 sigmoid；多分类互斥，应使用 softmax。对互斥类别用 sigmoid 会使各类概率之和不为 $1$。

## 关联笔记

- 前置：[[线性回归]] —— 逻辑回归把线性预测 $z$ 经 sigmoid 映射为概率，最小二乘的矩阵形式与梯度结构在此复用。
- 前置：[[机器学习绪论]] —— 交叉熵是伯努利分布下的经验风险，过拟合与偏差-方差分析同样适用于逻辑回归。
- 后续：[[损失函数]] —— 交叉熵、合页损失与均方误差的统一视角在该篇展开，逻辑回归是交叉熵的原型。
- 后续：[[模型评估与交叉验证]] —— 阈值选择、PR 曲线、混淆矩阵与交叉验证流程在该篇系统化。
- 对照：[[支持向量机SVM]] —— 两者都产生线性边界；SVM 优化合页损失与间隔，逻辑回归优化对数似然，损失形状决定对边界附近样本的敏感度。

## 达标检测

- [ ] 写出 sigmoid 的导数 $\sigma'(z)=\sigma(z)(1-\sigma(z))$ 的完整推导，并说明 $1-p=\sigma(-z)$ 的来源。
- [ ] 从伯努利似然出发，不查笔记推导 $J=\frac{1}{n}\sum_i[\ln(1+e^{z_i})-y_iz_i]$，并说明它与标准交叉熵形式等价。
- [ ] 推导 $\nabla_{\mathbf{w}}J=\mathbf{X}^{\top}(\mathbf{p}-\mathbf{y})/n$，写出 $\partial \ell_i/\partial z_i$ 与链式法则的每一步。
- [ ] 证明 Hessian $\mathbf{X}^{\top}\mathbf{S}\mathbf{X}/n$ 半正定，并说明数据线性可分时最大似然解不存在的原因。
- [ ] 运行代码，把阈值改为 $0.8$ 并重新计算混淆矩阵，解释 precision 与 recall 的变化方向。
- [ ] 对不平衡实验，说明为什么准确率 $0.914$ 不能说明模型优于「全部判为负类」的基线。

## 参考来源

- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 2nd ed., 2009, 第 4 章 —— 对应逻辑回归的模型、最大似然、交叉熵与分类边界。
- d2l.ai《动手学深度学习》，线性分类章节 —— 对应 softmax 回归、交叉熵与分类评估的实现。
- Stanford CS229 课程讲义，逻辑回归与广义线性模型部分 —— 对应 sigmoid 性质、梯度推导与牛顿法。
- Goodfellow, Bengio, Courville, *Deep Learning*, 2016, 第 5 章 —— 对应最大似然、交叉熵与 sigmoid 输出的估计解释。
