MOC · Agent 与工程化
本阶段地图
单个模型调用只能完成单步映射;真实任务要求多步决策、外部工具、状态记忆与成本控制。本阶段按「循环 → 编排 → 记忆 → 协议 → 运行时 → 推理优化 → 分布式 → 权衡 → 交付」组织,最终以一个端到端项目模板收束。
flowchart LR
TOOL[[AI-Agent与工具调用]] --> ORCH[[Agent工作流与编排]]
ORCH --> MEM[[Agent记忆与上下文]]
MEM --> MCP[[MCP协议]]
MCP --> HARNESS[[Harness与Loop工程]]
HARNESS --> INF[[模型推理优化]]
INF --> DIST[[分布式训练与部署]]
DIST --> COST[[成本-延迟-质量权衡]]
COST --> PROJ[[端到端项目模板]]
学习顺序与理由
- AI-Agent与工具调用:Agent 的最小定义是「模型 + 工具 + 循环」;先掌握工具 schema 与调用协议。
- Agent工作流与编排:多步任务的分解、路由、状态机与失败回退,决定系统可控性。
- Agent记忆与上下文:长任务需要跨轮状态;区分上下文内记忆与外部持久记忆。
- MCP协议:工具与上下文的标准化接口,解决 M×N 集成问题并支持权限边界。
- Harness与Loop工程:把上述组件组织为可运行、可观测、可恢复的运行时。
- 模型推理优化:量化、批处理、KV Cache 与投机解码决定单位成本。
- 分布式训练与部署:多卡训练的并行策略与推理服务的部署形态。
- 成本-延迟-质量权衡:三者的量化关系与路由策略。
- 端到端项目模板:阶段验收,交付含需求、架构、代码骨架、评估与监控的完整方案。
笔记索引
| 笔记 | 难度 | 核心内容 | 前置 |
|---|---|---|---|
| [[AI-Agent与工具调用]] | ★★☆ | 工具 schema、调用协议、错误处理 | [[结构化输出]] |
| [[Agent工作流与编排]] | ★★★ | 规划、路由、状态机、多 Agent | [[AI-Agent与工具调用]] |
| [[Agent记忆与上下文]] | ★★☆ | 短期/长期记忆、摘要、检索记忆 | [[Agent工作流与编排]] |
| [[MCP协议]] | ★★★ | Host/Client/Server、JSON-RPC、工具与资源 | [[AI-Agent与工具调用]] |
| [[Harness与Loop工程]] | ★★★ | 运行时循环、上下文管理、可观测性 | [[MCP协议]] |
| [[模型推理优化]] | ★★★ | 量化、蒸馏、批处理、投机解码 | [[KV缓存]] |
| [[分布式训练与部署]] | ★★★ | 数据/张量/流水线/序列并行、ZeRO | [[优化器与学习率]] |
| [[成本-延迟-质量权衡]] | ★★☆ | 路由、缓存、预算分配 | [[模型推理优化]] |
| [[端到端项目模板]] | ★★☆ | 需求、架构、代码骨架、验收 | [[Harness与Loop工程]] |
Agent 设计检查表
- 工具是否有明确的输入输出 schema、错误码与超时?
- 循环是否有最大步数、终止条件与失败回退?
- 每次工具调用的结果是否被完整回填到上下文,是否处理截断?
- 是否存在不可逆操作?是否需要人工确认或沙箱?
- 是否记录完整轨迹以支持回放与评估?
- 单位任务成本、P95 延迟与成功率是否可度量?
达标清单
- [ ] 能定义一个符合 JSON Schema 的工具,并处理参数校验失败。
- [ ] 能实现一个带最大步数与错误重试的 Agent 循环。
- [ ] 能说明 MCP 的 Host/Client/Server 角色与一次工具调用的消息序列。
- [ ] 能解释上下文压缩对长任务成功率的影响,并实现摘要式记忆。
- [ ] 能计算给定模型与序列长度下的 KV Cache 显存与解码延迟瓶颈。
- [ ] 能比较数据并行、张量并行、流水线并行与 ZeRO 的显存与通信代价。
- [ ] 能给出一个含评估、监控与成本上限的端到端方案。
阶段项目
构建一个可演示的任务执行 Agent:
- 定义 3–5 个工具(文件检索、计算、HTTP 查询、数据库查询),使用 MCP 或等价 schema。
- 实现循环:计划、工具调用、结果回填、终止判断、失败重试。
- 加入记忆:会话内摘要与跨会话检索记忆。
- 记录轨迹并在 50 条任务上评估成功率、平均步数、P95 延迟与单任务成本。
- 做一次消融:去掉重排、去掉记忆、去掉重试,分别报告指标变化。
验收标准:轨迹可回放;失败案例可归因;成本与延迟有实测数据。
参考来源
- Anthropic, "Building effective agents", 2024 —— 工作流与 Agent 的模式划分。
- Model Context Protocol 规范, modelcontextprotocol.io —— 协议架构与消息格式。
- Yao et al., "ReAct: Synergizing Reasoning and Acting in Language Models", arXiv:2210.03629。
- Kwon et al., "Efficient Memory Management for Large Language Model Serving with PagedAttention", 2023 —— vLLM 与批处理调度。
- Rajbhandari et al., "ZeRO: Memory Optimizations Toward Training Trillion Parameter Models", 2020。