逻辑回归
定义
逻辑回归用 sigmoid 函数把输入的仿射组合映射为二分类概率,即 ,并以伯努利似然的负对数(交叉熵)为损失。
符号定义:
- :特征向量;:二分类标签;:样本数。
- :权重向量;:截距;:线性得分,也称 logit。
- sigmoid 函数:,把实数映射到 。
- :模型给出的正类概率; 为负类概率。
- 几率(odds):;对数几率(log-odds):。
- :设计矩阵,第 行为 ;:标签向量;:预测概率向量;:全 向量。
- 交叉熵损失(cross-entropy loss):,即平均负对数似然。
- 决策边界(decision boundary):预测类别发生改变的输入集合;取阈值 时为超平面 。
- 阈值(threshold):当 时判为正类。默认 ,不平衡数据中需调整。
为什么重要
- 逻辑回归是二分类的概率化基线:输出落在 ,可直接与代价矩阵、阈值和排序指标结合,而线性回归的输出无界,不能解释为概率。
- 损失函数是凸的,梯度形式简单,任意局部最优即全局最优;这使它成为检验优化实现与推导正确性的标准模型。
- 系数具有对数几率解释: 是 增加一个单位时对数几率的变化量,因此在需要解释方向与强度的场景中仍有使用价值。
- 它是 损失函数 中交叉熵的原型,也是神经网络分类层的组成部分:单层线性变换加 sigmoid 即逻辑回归,多层堆叠后分类头仍是同一形式。
- 多分类的 softmax 回归是逻辑回归的直接推广,其梯度 与二分类形式一致。
- 类别不平衡与阈值选择等问题在此以最小规模呈现,可直接迁移到 模型评估与交叉验证 的指标体系中。
原理与推导
1. 从线性回归到分类
若直接把线性回归用于二分类,输出 取值范围为 ,需人为设定阈值;以均方误差优化时,远离边界的正确样本仍会产生梯度,模型会把权重推向使 增大的方向,对异常点敏感。分类需要的是条件概率 ,因此引入单调可微的链接函数把 压缩到 ,并改用伯努利似然构造损失。
2. sigmoid 函数与对数几率
单调递增,, 时 , 时 ;且 ,故 。对 求导得
由 单调,其反函数存在,称为 logit 函数:
因此逻辑回归是对对数几率作线性模型。系数解释: 增加一个单位,对数几率增加 ,几率乘以 ; 是全部特征为零时的基准对数几率。该解释只在其他特征保持不变的条件下成立。
3. 伯努利似然推导交叉熵损失
设样本独立,,,。似然函数为
取对数:
利用 与 ,有
代入 :
合并前两项与第三项中的对数:
再用恒等式 ,得
负对数似然除以 即交叉熵损失:
两种写法等价。第一式在数值计算中更稳定: 可直接用 np.logaddexp(0, z),避免 接近 或 时 、 无定义或数值溢出。
4. 梯度推导
先对单个样本的损失项 求导。由 ,得
再由 得 、。由于 ,链式法则给出
维度检查: 为 , 为 ,乘积为 ,与 同型。梯度的第 个分量为「预测误差 以特征 为权重的加权和」:预测偏高时 ,梯度方向使 减小。
5. 凸性
对梯度再求一次导。由 ,
对任意 ,
因为 使权重 。故 Hessian 半正定, 为凸函数,任何驻点都是全局最小点。若 列满秩且所有 ,则 正定,Hessian 正定,最小点唯一。凸性保证梯度下降不会陷入局部极小;牛顿法(迭代重加权最小二乘,IRLS)在最优点附近具有二次收敛速度。
需要区分两种情形:若数据线性可分,存在 使所有样本被正确分类且 ,负对数似然趋于 但参数范数无界,最大似然解不存在;加入 L2 正则化后目标强凸,解存在。
6. 决策边界
取阈值 ,由 ,决策边界为
即一个超平面,法向量为 。点 到边界的有符号距离为 ,符号表示所在一侧。若阈值取 ,边界变为
改变 只使边界平行移动,不改变方向。逻辑回归的边界是线性的;需要非线性边界时,可对特征做非线性变换 后仍用线性模型,或使用核方法与神经网络。
7. 多分类 softmax 与交叉熵
对有 个类别的任务,为每类设置参数 ,得分为 ,softmax 输出
损失为负对数似然 。对单个样本的损失 关于得分求导,得
其中 为示性函数。写成矩阵形式,设 、、 为标签的 one-hot(独热)矩阵,则
该式与二分类的 同形。softmax 具有平移不变性:给全部 加同一常数不改变 ,故参数不唯一,需用权重衰减或固定一个类别的参数消除冗余。 时 softmax 退化为 sigmoid:令 ,则 。
8. 类别不平衡与阈值选择
设正类比例为 ,并记 、、、 分别为真正例、假正例、假负例、真负例的样本数。全部判为负类时准确率为 ;当 时准确率为 ,但正类召回率为 。因此不平衡数据不能只用准确率,需报告
阈值 控制二者的权衡:降低 使更多样本判为正类,召回率上升、精确率下降。 应在验证集上按目标指标选择,而不是固定为 。若误报与漏报代价不同,可最小化期望代价
其中 、 分别为假阳性与假阴性的单位代价。类别加权是另一种处理方式:给正类损失乘以 ,等价于改变优化目标中的类别比例,但不等于在验证集上调整阈值,两者应分别实验。不平衡严重时,PR 曲线比 ROC 曲线更能反映正类检索性能。
9. 正则化
在损失中加入 L2 惩罚:
截距 通常不惩罚。正则化的作用有二:线性可分时限制参数范数,使解存在;特征相关时降低系数方差。L1 惩罚 产生稀疏解,可用于特征选择。scikit-learn 的 C 与 的关系为 (penalty='l2' 时按该约定换算),调参时需固定约定以免混淆。正则化强度的选择见 正则化与调参。
关键直觉
机制性直觉
逻辑回归是对对数几率施加线性模型:,再用伯努利似然把概率预测转化为交叉熵。梯度 与线性回归的最小二乘梯度同形,区别仅在 经过 sigmoid 而非恒等映射;因此两者的实现结构相同,差异全部来自链接函数与损失。凸性来自 Hessian 的二次型非负,与最小二乘的 同构,只是每个样本的权重换成 。
例子与代码
数据为二维二分类:两类均值分别为 与 ,协方差不同,故线性逻辑回归的最优边界不必垂直于两类中心的连线。代码标准化特征后用梯度下降训练,并输出准确率、混淆矩阵、Hessian 特征值与决策边界。环境为 NumPy 2.x。
import numpy as np
rng = np.random.default_rng(7)
X0 = rng.normal([-1.0, -0.6], [1.0, 0.8], size=(200, 2))
X1 = rng.normal([1.2, 1.0], [1.0, 1.2], size=(200, 2))
X = np.vstack([X0, X1])
y = np.r_[np.zeros(200), np.ones(200)]
mu, sd = X.mean(axis=0), X.std(axis=0)
Xs = (X - mu) / sd
A = np.column_stack([np.ones(len(X)), Xs]) # 第 0 列为偏置项
def sigmoid(z):
return 1.0 / (1.0 + np.exp(-z))
def nll(theta):
# 逐样本二元交叉熵 log(1+e^z) - y*z 的平均值
z = A @ theta
return np.mean(np.logaddexp(0.0, z) - y * z)
def predict(theta, threshold=0.5):
return (sigmoid(A @ theta) >= threshold).astype(int)
theta = np.zeros(A.shape[1])
lr, tol = 1.5, 1e-8
for it in range(20000):
p = sigmoid(A @ theta)
grad = A.T @ (p - y) / len(y) # ∇J = X^T(σ(Xθ)-y)/n
theta -= lr * grad
if np.max(np.abs(grad)) < tol:
break
p = sigmoid(A @ theta)
pred = predict(theta)
tp = int(np.sum((pred == 1) & (y == 1)))
tn = int(np.sum((pred == 0) & (y == 0)))
fp = int(np.sum((pred == 1) & (y == 0)))
fn = int(np.sum((pred == 0) & (y == 1)))
print(f"迭代 {it + 1} 次, NLL = {nll(theta):.4f}")
print(f"准确率 = {np.mean(pred == y):.3f}")
print("混淆矩阵 (TN, FP / FN, TP) =", [[tn, fp], [fn, tp]])
print(f"precision = {tp / (tp + fp):.3f}, recall = {tp / (tp + fn):.3f}")
H = (A.T * (p * (1 - p))) @ A / len(y) # A^T diag(S) A / n
print("Hessian 特征值 =", np.round(np.linalg.eigvalsh(H), 5))
w_s, b_s = theta[1:], theta[0]
w = w_s / sd # 换回原始尺度
b = b_s - np.sum(w_s * mu / sd)
print("原始尺度 [b, w1, w2] =", np.round([b, *w], 4))
print(f"决策边界: x2 = {-w[0] / w[1]:.4f} * x1 + {-b / w[1]:.4f}")
# 用字符网格表示决策区域:# 表示 p >= 0.5,. 表示 p < 0.5
for x2v in np.linspace(3.0, -3.0, 13):
row = "".join("#" if b + w[0] * x1v + w[1] * x2v >= 0 else "."
for x1v in np.linspace(-4.0, 4.0, 33))
print(row)
代码说明:
- 特征标准化只改变优化条件,不改变决策边界:换回原始尺度后边界等价。若不标准化,梯度下降需要更小的学习率和更多迭代。
- 损失用
np.logaddexp(0, z) - y*z计算,避免显式计算 时 下溢为 。 - 梯度与第 4 节公式逐项对应;
A.T @ (p - y) / len(y)的形状为 ,与theta一致。 - Hessian 用
(A.T (p (1 - p))) @ A / n计算,等价于 ,用于验证半正定。 - 字符网格按原始尺度坐标绘制,每行对应一个 ,每列对应一个 ,
#区域为预测正类。去掉网格不影响训练,但会失去对边界位置的直观核对。
运行结果:
迭代 1317 次, NLL = 0.1701
准确率 = 0.925
混淆矩阵 (TN, FP / FN, TP) = [[184, 16], [14, 186]]
precision = 0.921, recall = 0.930
Hessian 特征值 = [0.00692 0.032 0.05281]
原始尺度 [b, w1, w2] = [-0.0742 3.0478 1.6974]
决策边界: x2 = -1.7955 * x1 + 0.0437
..........#######################
...........######################
............#####################
.............####################
..............###################
...............##################
.................################
..................###############
...................##############
....................#############
.....................############
......................###########
.......................##########
结果解读:混淆矩阵给出 、、、,准确率 ,精确率与召回率接近,说明阈值 在该数据上大致平衡。决策边界为 ,斜率为负,正类区域位于直线右上方;两类中心连线的斜率为正,说明边界方向并非简单垂直于中心连线,与两类协方差不同一致。Hessian 的三个特征值均为正,与第 5 节的严格凸结论一致。
类别不平衡与阈值选择的实验:
为观察阈值效应,另取 500 个样本,其中正类 50 个、负类 450 个(正类占 ),两类均值分别为 与 ,标准差均为 ,随机种子取 ;标准化后用与上面相同的梯度下降算法(学习率 ,迭代至梯度无穷范数小于 )训练。在该数据集上按不同阈值统计指标(未另划分测试集,此处只比较阈值间的相对变化):
| 阈值 | precision | recall | |
|---|---|---|---|
| 0.5 | 0.769 | 0.200 | 0.317 |
| 0.4 | 0.688 | 0.220 | 0.333 |
| 0.3 | 0.500 | 0.320 | 0.390 |
| 0.2 | 0.370 | 0.600 | 0.458 |
| 0.1 | 0.259 | 0.760 | 0.386 |
正类仅占 ,全部判为负类即可得到 的准确率,而模型在 时准确率为 ,看起来提升很小;但召回率仅 ,即 的正类被漏判。把阈值降到 ,召回率升到 , 从 升到 。该结果说明阈值必须按目标指标在验证集上选择,准确率不能单独作为不平衡数据的评价指标。
易错点
常见错误
- 用线性回归加 阈值做分类,并把输出直接解释为概率。线性输出可超出 ,且均方误差对远离边界的正确样本仍产生梯度。
- 把 当作概率密度。它是累积分布函数形式的映射,密度为 ;对 积分才得到概率。
- 交叉熵中 与 的位置写反,或漏除以 。位置写反会使损失在标签为 时惩罚 ,梯度符号随之错误;漏除 只改变学习率尺度,但与其他正则项组合时会改变有效惩罚强度。
- 在线性可分数据上不加正则化直接最大化似然。此时 、损失趋近 但解不存在唯一有限值,表现为训练持续不收敛或权重数值爆炸。
- 在不平衡数据上用准确率选模型或固定阈值 。多数类占比高时,退化解即可获得高准确率;应报告 precision、recall、 或 PR 曲线,并在验证集上选阈值。
- 混淆二分类 sigmoid 与多分类 softmax。多标签分类允许每个类别独立取 ,应使用 个 sigmoid;多分类互斥,应使用 softmax。对互斥类别用 sigmoid 会使各类概率之和不为 。
关联笔记
- 前置:线性回归 —— 逻辑回归把线性预测 经 sigmoid 映射为概率,最小二乘的矩阵形式与梯度结构在此复用。
- 前置:机器学习绪论 —— 交叉熵是伯努利分布下的经验风险,过拟合与偏差-方差分析同样适用于逻辑回归。
- 后续:损失函数 —— 交叉熵、合页损失与均方误差的统一视角在该篇展开,逻辑回归是交叉熵的原型。
- 后续:模型评估与交叉验证 —— 阈值选择、PR 曲线、混淆矩阵与交叉验证流程在该篇系统化。
- 对照:支持向量机SVM —— 两者都产生线性边界;SVM 优化合页损失与间隔,逻辑回归优化对数似然,损失形状决定对边界附近样本的敏感度。
达标检测
- [ ] 写出 sigmoid 的导数 的完整推导,并说明 的来源。
- [ ] 从伯努利似然出发,不查笔记推导 ,并说明它与标准交叉熵形式等价。
- [ ] 推导 ,写出 与链式法则的每一步。
- [ ] 证明 Hessian 半正定,并说明数据线性可分时最大似然解不存在的原因。
- [ ] 运行代码,把阈值改为 并重新计算混淆矩阵,解释 precision 与 recall 的变化方向。
- [ ] 对不平衡实验,说明为什么准确率 不能说明模型优于「全部判为负类」的基线。
参考来源
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 4 章 —— 对应逻辑回归的模型、最大似然、交叉熵与分类边界。
- d2l.ai《动手学深度学习》,线性分类章节 —— 对应 softmax 回归、交叉熵与分类评估的实现。
- Stanford CS229 课程讲义,逻辑回归与广义线性模型部分 —— 对应 sigmoid 性质、梯度推导与牛顿法。
- Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 5 章 —— 对应最大似然、交叉熵与 sigmoid 输出的估计解释。