w wyl123ly 的博客
MD

MOC-Prompt与RAG

5 KB 2026.10.18 原文件

MOC · Prompt 与 RAG

本阶段地图

本阶段解决模型能力之外的系统问题:如何组织输入使模型输出可用的结果,如何引入外部知识弥补参数化记忆的不足,如何度量和改进检索增强系统的质量。阅读顺序为「输入控制 → 表示与检索 → 系统流程 → 优化 → 评估 → 实现」。

flowchart LR
    P[[Prompt工程]] --> C[[上下文工程与Few-shot]]
    C --> S[[结构化输出]]
    S --> E[[Embedding与向量检索]]
    E --> V[[向量数据库]]
    V --> R[[RAG原理与流程]]
    R --> CH[[RAG文档分块策略]]
    CH --> RE[[检索优化与重排Rerank]]
    RE --> ADV[[进阶RAG-Self-RAG与Agentic-RAG]]
    ADV --> EV[[RAG评估]]
    EV --> IMPL[[从零实现RAG指南]]

学习顺序与理由

  1. Prompt工程:先建立「指令—约束—示例—输出」的结构化视角,并明确提示词的失效边界。
  2. 上下文工程与Few-shot:把提示词扩展为上下文预算问题,决定放什么、放多少、按什么顺序放。
  3. 结构化输出:系统集成要求机器可解析的输出;理解 JSON Schema 与约束解码。
  4. Embedding与向量检索:RAG 的检索基础;理解相似度、双塔训练与归一化。
  5. 向量数据库:把嵌入落到可查询的索引,掌握 HNSW/IVF/PQ 的取舍。
  6. RAG原理与流程:串联索引、检索、生成三阶段,明确每个阶段的失效模式。
  7. RAG文档分块策略:分块决定检索粒度,是实践中影响最大的设计选择之一。
  8. 检索优化与重排Rerank:混合检索、RRF、交叉编码器重排与查询改写。
  9. 进阶RAG-Self-RAG与Agentic-RAG:让模型自主决定检索时机与迭代次数。
  10. RAG评估:用 Query–Context–Response 三元组定位失败环节,而不是只看最终答案。
  11. 从零实现RAG指南:阶段验收,交付可运行、可评估的最小系统。

笔记索引

笔记难度核心内容前置
[[Prompt工程]]★☆☆指令结构、思维链、失败模式[[自回归生成与采样]]
[[上下文工程与Few-shot]]★★☆上下文预算、示例选择与顺序[[Prompt工程]]
[[结构化输出]]★★☆JSON Schema、约束解码、校验重试[[Prompt工程]]
[[Embedding与向量检索]]★★☆双塔、余弦相似度、对比学习[[线性代数]]
[[向量数据库]]★★☆HNSW、IVF、PQ、过滤检索[[Embedding与向量检索]]
[[RAG原理与流程]]★★☆索引、检索、生成、失效模式[[向量数据库]]
[[RAG文档分块策略]]★★☆固定/语义/结构/父子/Agentic 分块[[RAG原理与流程]]
[[检索优化与重排Rerank]]★★★混合检索、RRF、cross-encoder[[RAG文档分块策略]]
[[进阶RAG-Self-RAG与Agentic-RAG]]★★★反思 token、多步检索、GraphRAG[[检索优化与重排Rerank]]
[[RAG评估]]★★★Query–Context–Response 三元组、RAGAS[[RAG原理与流程]]
[[从零实现RAG指南]]★★☆可运行的索引-检索-生成-评估[[RAG评估]]

设计决策清单

决策选项主要依据
分块粒度256/512/1024 token、父子块文档结构、问题粒度、上下文预算
检索方式稠密、稀疏、混合术语精确性、语义泛化需求
重排无、cross-encoder、LLM 重排延迟预算与精度要求
生成约束自由生成、引用标注、结构化输出下游系统是否需要解析与溯源
评估端到端人工、三元组自动、在线指标可获得的标注量与迭代速度

达标清单

  • [ ] 能解释 few-shot 示例数量与顺序影响输出的机制,并设计对照实验。
  • [ ] 能写出余弦相似度与点积的关系,说明归一化的作用。
  • [ ] 能描述 HNSW 的图结构与查询过程,说明其召回率与延迟的权衡。
  • [ ] 能针对给定文档选择分块策略并说明理由。
  • [ ] 能实现 BM25 与向量检索的混合排序与 RRF 融合。
  • [ ] 能用三元组指标定位一个 RAG 失败案例属于检索还是生成问题。
  • [ ] 能独立运行 从零实现RAG指南 并给出评估结果。

阶段项目

构建一个面向本地技术文档的 RAG 问答系统:

  1. 采集 20–50 篇文档,实现两种分块策略并对比。
  2. 建立向量索引与 BM25 索引,实现混合检索与重排。
  3. 生成答案并要求引用来源段落。
  4. 构造 30 条带标准答案的查询,按 Query–Context–Response 三元组评估。
  5. 分析失败案例分布,给出至少两项改进并验证。

验收标准:评估脚本可复现;每条失败案例能定位到具体环节;改进前后指标有对照。

参考来源

  • Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", 2020。
  • Gao et al., "Retrieval-Augmented Generation for Large Language Models: A Survey", arXiv:2312.10997。
  • Asai et al., "Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection", arXiv:2310.11511。
  • Malkov & Yashunin, "Efficient and robust approximate nearest neighbor search using HNSW", arXiv:1603.09320。
  • LangChain 与 LlamaIndex 官方文档 —— 检索与分块组件的实现参考。