推荐系统
定义
推荐系统(recommender system)是从用户与物品的历史交互矩阵及辅助特征中估计用户对未交互物品的偏好分数 ,并据此对候选物品排序、输出前 个结果的系统。
符号与术语:
- 、:用户集合与物品集合,、。
- :交互矩阵, 为第 行第 列的元素;观测到的位置集合记为 。
- 显式反馈(explicit feedback): 为评分、点赞数等直接表达偏好的数值,常取值 1 至 5。
- 隐式反馈(implicit feedback): 表示发生过点击、购买、播放等行为; 表示未观测到行为,不等于负偏好。未观测与负例的区分是隐式推荐的核心难点。
- :模型预测的偏好分数;排序只使用分数的相对大小。
- 、:用户与物品的隐向量(latent factor), 为隐维度。
- 、:用户偏置与物品偏置;:全局平均分。
- :L2 正则化系数;:学习率。
- :推荐列表长度;:排序位置 上物品的相关度等级。
- :指示函数,条件成立取 1,否则取 0。
为什么重要
推荐系统要在「用户-物品矩阵极度稀疏」与「候选集规模大」两个约束下工作。以 100 万用户、10 万物品、人均 50 次交互计算,观测密度约为 ,绝大多数用户-物品对的偏好未知。协同过滤与矩阵分解通过低秩假设把稀疏观测泛化到未观测位置:若用户偏好近似由少数潜在因素决定,则 的矩阵可由 个参数近似描述。
没有推荐模型时,常见替代是按热度排序。热度排序无需训练、无冷启动问题,但会使曝光向热门物品集中,且无法区分同一物品对不同用户的价值。协同过滤引入用户或物品的相似结构,矩阵分解进一步允许相似性由隐向量内积表达,从而在稀疏条件下给出个性化排序。
在全书中的位置:本篇前置为 矩阵分解-SVD与特征分解 的低秩分解与 模型评估与交叉验证 的排序指标;其隐向量与近似最近邻检索直接连接到 Embedding与向量检索;与 PCA与降维 共享「用低维表示压缩矩阵」的思路;系统层面的曝光偏差与反馈闭环见 机器学习系统设计。
原理与推导
1. 交互矩阵与问题形式化
推荐任务分为两类:
- 评分预测:估计 逼近真实评分,指标为 RMSE、MAE。适用于显式反馈。
- 排序推荐:对每个用户从候选集中选出前 个物品,指标为 HitRate@K、NDCG@K、Recall@K。适用于隐式反馈与大多数在线场景。
二者优化目标不同。RMSE 关注数值误差,排序指标只关注相对顺序;一个 RMSE 更低的模型可能把用户最可能交互的物品排在后面。因此隐式反馈场景不应以 RMSE 作为主要验收指标。
2. UserCF:基于用户的协同过滤
UserCF 假设兴趣相近的用户会对相同物品给出相近评价。相似度采用余弦:
其中 为两用户共同评价过的物品集合, 为用户 评价过的物品集合。评分预测先去均值再按相似度加权:
为与 最相似的 个用户, 为评价过物品 的用户集合, 为用户 的平均评分。去均值的作用是消除用户评分尺度的差异:有人习惯打高分,有人习惯打低分。
UserCF 的适用条件是用户数量可控、用户兴趣变化较快、物品更新频繁(如新闻)。用户数达到千万级时,用户相似度矩阵无法完整存储与更新。
3. ItemCF:基于物品的协同过滤
ItemCF 假设用户对相似物品的偏好一致。物品相似度定义为
为同时交互过 与 的用户集合。评分预测为
为与 最相似的 个物品。物品相似度比用户相似度稳定:物品的属性与共现关系变化慢,且物品数通常少于用户数,相似度矩阵可离线计算并缓存。电商、视频等物品集合相对稳定的场景多用 ItemCF。
两种方法都存在流行度偏差:热门物品与大量物品共现,相似度被抬高,推荐结果进一步集中于热门物品。常见修正是在相似度分母上对物品流行度取幂次惩罚,或对共现计数做归一化。
4. 矩阵分解
矩阵分解把交互矩阵近似为低秩结构。带偏置的模型为
优化目标为带 L2 正则化的平方误差:
正则化的作用是限制隐向量范数,防止模型对仅有少量交互的用户与物品过拟合。 通常取训练集全局均值并固定;、 从 0 初始化。
对单个观测 ,记误差 ,梯度为
吸收因子 2 到学习率后得到 SGD 更新:
的更新必须使用更新前的 ,否则同一步内两个向量互相引用,更新式不再对应任何目标函数的梯度下降。实践中常按观测随机打乱顺序,每个 epoch 遍历一次 。
5. ALS 与隐式反馈
交替最小二乘(Alternating Least Squares, ALS)固定 时, 对每个 是二次函数,可闭式求解:
其中 为用户 交互过的物品隐向量堆叠, 为对应评分。固定 后对 对称求解,交替直至收敛。每个用户的求解相互独立,可并行; 较小时 的构造与求逆代价可控。
隐式反馈不能直接使用平方误差,因为 不代表负偏好。加权 ALS 引入置信度 与偏好指示 ,目标为
的闭式解为 ,其中 。对全部 个物品求和而非仅观测项,是隐式 ALS 的主要计算开销。
6. 冷启动与混合策略
冷启动分三类:新用户无交互、新物品无交互、系统整体冷启动。对应手段:
- 内容特征:用物品的文本、图像、类别特征构造隐向量,新物品可由内容编码器直接映射,见第 8 节双塔模型。
- 注册信息与上下文:新用户用年龄、地域、设备、入口页面等特征做粗粒度分群,回退到群组热门。
- 探索:以 -greedy(以概率 随机选择物品、以概率 选择当前最优)或 Thompson 采样分配一部分流量给低曝光物品,收集反馈;探索比例需与业务收益权衡。
- 混合:加权融合协同过滤分数、内容相似度分数与热度分数,, 随交互数量自适应增大。
冷启动无法仅靠协同过滤解决:矩阵分解对新用户或新物品的隐向量没有数据支撑,只能依赖先验(初始化)或辅助特征。
7. 排序指标:HitRate 与 NDCG
命中率(HitRate@K)定义为测试物品出现在前 个推荐结果中的用户比例:
它只关心是否命中,不区分命中位置,适合每用户只有一个测试物品的留一法协议。
归一化折损累计增益(Normalized Discounted Cumulative Gain, NDCG@K)同时考虑相关度等级与位置折损:
其中 为位置 上物品的相关度(非负整数), 为把候选物品按相关度降序排列后取得的最大 DCG。分母的作用是把不同用户、不同候选集的结果归一到 。增益采用指数形式 ,使高相关度物品的权重增长快于线性。
8. 评估协议
留一法(leave-one-out):对每个用户,把其最后一次交互作为测试物品,其余作为训练集。必须按时间取最后一次,且训练集只包含该次交互之前的记录;若随机留出一个物品,模型会看到未来交互,构成时间泄漏。
负采样:候选集由 1 个正例与 个未交互物品组成,模型对候选集排序后计算 HR@K 或 NDCG@K。 的取值直接影响指标: 越小,任务越简单,指标越高。因此报告时必须写明 ,并对所有对比模型使用相同的候选集与采样种子。
采样评估与全量排序评估不等价。负样本从 抽取时,采样指标实际度量的是「在 下的排序质量」,若 偏向热门物品,指标会被系统性改变。条件允许时应做全量排序评估;必须采样时,应固定采样分布并同时报告绝对数值与相对排序。
协议选择:全局时间切分(用前 80% 时间训练、后 20% 测试)更接近线上部署,但会引入未在训练中出现的新用户与新物品;留一法便于逐用户比较,但测试物品集中在用户活跃期末端。两种协议应同时报告,避免结论依赖单一划分。
9. 内容特征与双塔模型
双塔模型把用户与物品分别编码为向量,再用内积或余弦计算分数:
、 为两个独立的神经网络,、 为用户与物品的特征向量。训练目标为批内 softmax:
为批大小, 为温度系数, 为同一批内的物品(其中 为正例,其余为批内负例)。该目标把正例对的分数相对批内其他物品拉高,等价于在批内做多分类。
双塔的关键性质是用户向量与物品向量可分离计算:物品向量离线预计算并建立近似最近邻索引,在线只需计算用户向量并做一次向量检索,延迟与物品总数近似无关。该流程与 Embedding与向量检索 中的 HNSW 索引、余弦相似度与召回评估一致;新物品可由内容特征直接编码,缓解物品冷启动。
双塔的局限是用户与物品特征在最后一层才交互(内积),无法表达细粒度的交叉特征;排序阶段通常再接一个交叉特征模型对 Top-N 结果重排。
关键直觉
机制性直觉
协同过滤与矩阵分解都在估计「用户-物品」矩阵的低秩近似:UserCF 用相似用户的加权平均填补缺失项,ItemCF 用相似物品的加权平均填补缺失项,矩阵分解则把两种加权平均统一为隐向量内积。它与严格定义的对应关系是: 中, 是用户在 个潜在维度上的偏好与物品在同样维度上的属性之间的匹配度; 越小,模型越依赖全局结构, 越大,越能拟合个体特异的共现模式。
例子与代码
手算例:NDCG@4
某用户的目标物品相关度为 ,按模型排序依次放在位置 1 至 4。逐项增益与折损:
| 位置 | 折损后增益 | |||
|---|---|---|---|---|
| 1 | 3 | 7 | 1.0000 | 7.0000 |
| 2 | 1 | 1 | 1.5850 | 0.6309 |
| 3 | 0 | 0 | 2.0000 | 0.0000 |
| 4 | 2 | 3 | 2.3219 | 1.2920 |
理想排序为 :
若交换第 2 位与第 4 位,排列变为 ,DCG 为 ,高于原排列的 8.9230,低于 IDCG 9.3928;若把相关度为 2 的物品移到第 2 位,排列为 ,恰好是理想序,DCG 等于 IDCG。任何排列的 DCG 都不会超过按相关度降序得到的 IDCG,这一上界性质是 NDCG 落在 的原因。
NumPy 实现矩阵分解 SGD
import numpy as np
rng = np.random.default_rng(7)
n_users, n_items, k = 300, 200, 4
P_true = rng.normal(0, 0.1, (n_users, k))
Q_true = rng.normal(0, 0.1, (n_items, k))
bu_true = rng.normal(0, 0.3, n_users)
bi_true = rng.normal(0, 0.3, n_items)
mu = 3.5
m = 8000 # 观测交互数,密度约 13%
u = rng.integers(0, n_users, m)
i = rng.integers(0, n_items, m)
r = mu + bu_true[u] + bi_true[i] + np.sum(P_true[u] * Q_true[i], axis=1)
r = np.clip(r + rng.normal(0, 0.2, m), 1, 5) # 评分截断到 [1, 5]
perm = rng.permutation(m)
cut = int(0.8 * m)
tr, te = perm[:cut], perm[cut:]
u_tr, i_tr, r_tr = u[tr], i[tr], r[tr]
u_te, i_te, r_te = u[te], i[te], r[te]
mu_hat = r_tr.mean()
P = rng.normal(0, 0.05, (n_users, k))
Q = rng.normal(0, 0.05, (n_items, k))
bu = np.zeros(n_users)
bi = np.zeros(n_items)
lr, reg, epochs = 0.01, 0.05, 30
for _ in range(epochs):
for idx in rng.permutation(len(tr)):
uu, ii, rr = u_tr[idx], i_tr[idx], r_tr[idx]
pred = mu_hat + bu[uu] + bi[ii] + P[uu] @ Q[ii]
e = rr - pred
pu = P[uu].copy() # 保存旧 p_u,供 q_i 更新使用
bu[uu] += lr * (e - reg * bu[uu])
bi[ii] += lr * (e - reg * bi[ii])
P[uu] += lr * (e * Q[ii] - reg * pu)
Q[ii] += lr * (e * pu - reg * Q[ii])
def rmse(users, items, target):
pred = mu_hat + bu[users] + bi[items] + np.sum(P[users] * Q[items], axis=1)
return float(np.sqrt(np.mean((target - pred) ** 2)))
print("训练集 RMSE:", round(rmse(u_tr, i_tr, r_tr), 4))
print("测试集 RMSE:", round(rmse(u_te, i_te, r_te), 4))
print("均值基线测试 RMSE:", round(float(np.sqrt(np.mean((r_te - mu_hat) ** 2))), 4))
预期输出:
训练集 RMSE: 0.1926
测试集 RMSE: 0.2104
均值基线测试 RMSE: 0.4607
说明:
- 数据由 的真实隐向量生成,模型隐维度也取 4,属于可实现设定;测试 RMSE 0.2104 接近噪声标准差 0.2,说明模型已拟合到数据生成过程的上限。
- 均值基线 RMSE 为 0.4607,模型相对基线降低约 54%;这个对比比单独报告 RMSE 更能说明模型是否有效。
- 用
pu = P[uu].copy()保存旧向量,保证 的更新使用更新前的 ;去掉.copy()后两个向量在同一步内互相引用,收敛变慢且结果依赖遍历顺序。 - 评分截断到 会引入非线性,使最优解略偏离线性生成过程;真实数据同样存在上下界。
- 每轮遍历前重新打乱索引,等价于对 做有放回或无放回的随机采样;固定
rng种子保证结果可复现。
NDCG 与 HitRate 函数
import numpy as np
def dcg(rels):
rels = np.asarray(rels, dtype=float)
return float(np.sum((2 ** rels - 1) / np.log2(np.arange(2, len(rels) + 2))))
def ndcg(rels):
rels = np.asarray(rels, dtype=float)
return dcg(rels) / dcg(np.sort(rels)[::-1])
print("DCG@4:", round(dcg([3, 1, 0, 2]), 4))
print("IDCG@4:", round(dcg([3, 2, 1, 0]), 4))
print("NDCG@4:", round(ndcg([3, 1, 0, 2]), 4))
hits = [0, 1, 1] # 三个用户是否命中
print("HitRate@2:", round(sum(hits) / len(hits), 4))
预期输出:
DCG@4: 8.923
IDCG@4: 9.3928
NDCG@4: 0.95
HitRate@2: 0.6667
ndcg 的分母用同一组相关度降序排列计算,因此与位置无关;若候选集只取前 个,截断后 IDCG 也必须在 个位置上计算,不能使用完整列表的理想排序。
易错点
常见错误
- 用 RMSE 评价隐式反馈模型。隐式数据只有正例与未观测项,平方误差会把未观测项当作 0 分负例,优化目标与实际排序目标不一致。
- 留一法随机留出物品而非按时间留出最后一个。模型因此看到未来交互,指标虚高;应使用时间切分并保证训练集不含测试时点之后的数据。
- 负采样数量在不同模型间不一致,或只报告采样指标。 越小指标越高,跨模型比较必须在相同候选集上进行,并说明是否全量排序。
- 忘记在 SGD 更新 前保存旧的 。同一步内互相引用会使更新失去梯度下降的解释,收敛行为依赖样本顺序。
- 把未观测当作负例且不加置信度。隐式 ALS 需要 与 两个量,直接把 0 当负例会压制长尾物品。
- IDCG 使用被评估排列的相关度顺序。IDCG 必须由候选集按相关度降序独立计算,否则 NDCG 可能大于 1。
关联笔记
- 前置:矩阵分解-SVD与特征分解 —— 隐向量内积是低秩分解的一种参数化,SVD 给出无正则化情形下的闭式解与最优秩。
- 前置:模型评估与交叉验证 —— 排序指标、留出协议与负采样属于评估设计,需与分类指标区分。
- 后续:Embedding与向量检索 —— 双塔产出的物品向量需要 ANN 索引才能在线检索,该篇给出 HNSW 与相似度计算。
- 对照:PCA与降维 —— PCA 对中心化数据做无监督低秩压缩,矩阵分解对稀疏交互做带正则的加权低秩拟合,二者目标函数不同。
- 后续:机器学习系统设计 —— 曝光偏差、反馈闭环与 A/B 评估在系统层面展开。
达标检测
- [ ] 能写出 UserCF 与 ItemCF 的相似度与评分预测公式,并说明去均值的作用。
- [ ] 能由矩阵分解目标函数推出 、、、 的 SGD 更新式,并指出 更新为何要用旧 。
- [ ] 能手算 的 DCG@4、IDCG@4 与 NDCG@4,并解释 IDCG 的计算前提。
- [ ] 能运行矩阵分解代码,把隐维度改为 2 与 16,记录测试 RMSE 并与 比较。
- [ ] 能说明留一法与全局时间切分各自的偏差来源,以及负采样数量对指标的影响方向。
- [ ] 能画出双塔模型的训练与 serving 流程,标出物品向量预计算与 ANN 检索的位置。
参考来源
- 项亮,《推荐系统实践》,人民邮电出版社,2012 —— 对应本篇 UserCF、ItemCF 的相似度定义、评分预测与冷启动策略。
- Koren, Bell, Volinsky, Matrix Factorization Techniques for Recommender Systems, IEEE Computer, 2009 —— 对应本篇带偏置的矩阵分解目标、SGD 更新与隐式反馈处理。
- Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 2nd ed., 2009, 第 14 章 —— 对应本篇低秩分解与无监督矩阵近似的理论背景。
- d2l.ai《动手学深度学习》,推荐系统一章 —— 对应本篇矩阵分解的训练流程与排序评估代码口径。
- scikit-learn 用户指南,Model selection and evaluation —— 对应本篇评估协议中划分与指标计算的一般原则。