MOC · Prompt 与 RAG
本阶段地图
本阶段解决模型能力之外的系统问题:如何组织输入使模型输出可用的结果,如何引入外部知识弥补参数化记忆的不足,如何度量和改进检索增强系统的质量。阅读顺序为「输入控制 → 表示与检索 → 系统流程 → 优化 → 评估 → 实现」。
flowchart LR
P[[Prompt工程]] --> C[[上下文工程与Few-shot]]
C --> S[[结构化输出]]
S --> E[[Embedding与向量检索]]
E --> V[[向量数据库]]
V --> R[[RAG原理与流程]]
R --> CH[[RAG文档分块策略]]
CH --> RE[[检索优化与重排Rerank]]
RE --> ADV[[进阶RAG-Self-RAG与Agentic-RAG]]
ADV --> EV[[RAG评估]]
EV --> IMPL[[从零实现RAG指南]]
学习顺序与理由
- Prompt工程:先建立「指令—约束—示例—输出」的结构化视角,并明确提示词的失效边界。
- 上下文工程与Few-shot:把提示词扩展为上下文预算问题,决定放什么、放多少、按什么顺序放。
- 结构化输出:系统集成要求机器可解析的输出;理解 JSON Schema 与约束解码。
- Embedding与向量检索:RAG 的检索基础;理解相似度、双塔训练与归一化。
- 向量数据库:把嵌入落到可查询的索引,掌握 HNSW/IVF/PQ 的取舍。
- RAG原理与流程:串联索引、检索、生成三阶段,明确每个阶段的失效模式。
- RAG文档分块策略:分块决定检索粒度,是实践中影响最大的设计选择之一。
- 检索优化与重排Rerank:混合检索、RRF、交叉编码器重排与查询改写。
- 进阶RAG-Self-RAG与Agentic-RAG:让模型自主决定检索时机与迭代次数。
- RAG评估:用 Query–Context–Response 三元组定位失败环节,而不是只看最终答案。
- 从零实现RAG指南:阶段验收,交付可运行、可评估的最小系统。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[Prompt工程]] | ★☆☆ | 指令结构、思维链、失败模式 | [[自回归生成与采样]] |
| [[上下文工程与Few-shot]] | ★★☆ | 上下文预算、示例选择与顺序 | [[Prompt工程]] |
| [[结构化输出]] | ★★☆ | JSON Schema、约束解码、校验重试 | [[Prompt工程]] |
| [[Embedding与向量检索]] | ★★☆ | 双塔、余弦相似度、对比学习 | [[线性代数]] |
| [[向量数据库]] | ★★☆ | HNSW、IVF、PQ、过滤检索 | [[Embedding与向量检索]] |
| [[RAG原理与流程]] | ★★☆ | 索引、检索、生成、失效模式 | [[向量数据库]] |
| [[RAG文档分块策略]] | ★★☆ | 固定/语义/结构/父子/Agentic 分块 | [[RAG原理与流程]] |
| [[检索优化与重排Rerank]] | ★★★ | 混合检索、RRF、cross-encoder | [[RAG文档分块策略]] |
| [[进阶RAG-Self-RAG与Agentic-RAG]] | ★★★ | 反思 token、多步检索、GraphRAG | [[检索优化与重排Rerank]] |
| [[RAG评估]] | ★★★ | Query–Context–Response 三元组、RAGAS | [[RAG原理与流程]] |
| [[从零实现RAG指南]] | ★★☆ | 可运行的索引-检索-生成-评估 | [[RAG评估]] |
设计决策清单
| 决策 | 选项 | 主要依据 |
|---|---|---|
| 分块粒度 | 256/512/1024 token、父子块 | 文档结构、问题粒度、上下文预算 |
| 检索方式 | 稠密、稀疏、混合 | 术语精确性、语义泛化需求 |
| 重排 | 无、cross-encoder、LLM 重排 | 延迟预算与精度要求 |
| 生成约束 | 自由生成、引用标注、结构化输出 | 下游系统是否需要解析与溯源 |
| 评估 | 端到端人工、三元组自动、在线指标 | 可获得的标注量与迭代速度 |
达标清单
- [ ] 能解释 few-shot 示例数量与顺序影响输出的机制,并设计对照实验。
- [ ] 能写出余弦相似度与点积的关系,说明归一化的作用。
- [ ] 能描述 HNSW 的图结构与查询过程,说明其召回率与延迟的权衡。
- [ ] 能针对给定文档选择分块策略并说明理由。
- [ ] 能实现 BM25 与向量检索的混合排序与 RRF 融合。
- [ ] 能用三元组指标定位一个 RAG 失败案例属于检索还是生成问题。
- [ ] 能独立运行 从零实现RAG指南 并给出评估结果。
阶段项目
构建一个面向本地技术文档的 RAG 问答系统:
- 采集 20–50 篇文档,实现两种分块策略并对比。
- 建立向量索引与 BM25 索引,实现混合检索与重排。
- 生成答案并要求引用来源段落。
- 构造 30 条带标准答案的查询,按 Query–Context–Response 三元组评估。
- 分析失败案例分布,给出至少两项改进并验证。
验收标准:评估脚本可复现;每条失败案例能定位到具体环节;改进前后指标有对照。
参考来源
- Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", 2020。
- Gao et al., "Retrieval-Augmented Generation for Large Language Models: A Survey", arXiv:2312.10997。
- Asai et al., "Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection", arXiv:2310.11511。
- Malkov & Yashunin, "Efficient and robust approximate nearest neighbor search using HNSW", arXiv:1603.09320。
- LangChain 与 LlamaIndex 官方文档 —— 检索与分块组件的实现参考。