w wyl123ly 的博客
MD

MOC-Agent与工程化

5 KB 2026.10.18 原文件

MOC · Agent 与工程化

本阶段地图

单个模型调用只能完成单步映射;真实任务要求多步决策、外部工具、状态记忆与成本控制。本阶段按「循环 → 编排 → 记忆 → 协议 → 运行时 → 推理优化 → 分布式 → 权衡 → 交付」组织,最终以一个端到端项目模板收束。

flowchart LR
    TOOL[[AI-Agent与工具调用]] --> ORCH[[Agent工作流与编排]]
    ORCH --> MEM[[Agent记忆与上下文]]
    MEM --> MCP[[MCP协议]]
    MCP --> HARNESS[[Harness与Loop工程]]
    HARNESS --> INF[[模型推理优化]]
    INF --> DIST[[分布式训练与部署]]
    DIST --> COST[[成本-延迟-质量权衡]]
    COST --> PROJ[[端到端项目模板]]

学习顺序与理由

  1. AI-Agent与工具调用:Agent 的最小定义是「模型 + 工具 + 循环」;先掌握工具 schema 与调用协议。
  2. Agent工作流与编排:多步任务的分解、路由、状态机与失败回退,决定系统可控性。
  3. Agent记忆与上下文:长任务需要跨轮状态;区分上下文内记忆与外部持久记忆。
  4. MCP协议:工具与上下文的标准化接口,解决 M×N 集成问题并支持权限边界。
  5. Harness与Loop工程:把上述组件组织为可运行、可观测、可恢复的运行时。
  6. 模型推理优化:量化、批处理、KV Cache 与投机解码决定单位成本。
  7. 分布式训练与部署:多卡训练的并行策略与推理服务的部署形态。
  8. 成本-延迟-质量权衡:三者的量化关系与路由策略。
  9. 端到端项目模板:阶段验收,交付含需求、架构、代码骨架、评估与监控的完整方案。

笔记索引

笔记难度核心内容前置
[[AI-Agent与工具调用]]★★☆工具 schema、调用协议、错误处理[[结构化输出]]
[[Agent工作流与编排]]★★★规划、路由、状态机、多 Agent[[AI-Agent与工具调用]]
[[Agent记忆与上下文]]★★☆短期/长期记忆、摘要、检索记忆[[Agent工作流与编排]]
[[MCP协议]]★★★Host/Client/Server、JSON-RPC、工具与资源[[AI-Agent与工具调用]]
[[Harness与Loop工程]]★★★运行时循环、上下文管理、可观测性[[MCP协议]]
[[模型推理优化]]★★★量化、蒸馏、批处理、投机解码[[KV缓存]]
[[分布式训练与部署]]★★★数据/张量/流水线/序列并行、ZeRO[[优化器与学习率]]
[[成本-延迟-质量权衡]]★★☆路由、缓存、预算分配[[模型推理优化]]
[[端到端项目模板]]★★☆需求、架构、代码骨架、验收[[Harness与Loop工程]]

Agent 设计检查表

  • 工具是否有明确的输入输出 schema、错误码与超时?
  • 循环是否有最大步数、终止条件与失败回退?
  • 每次工具调用的结果是否被完整回填到上下文,是否处理截断?
  • 是否存在不可逆操作?是否需要人工确认或沙箱?
  • 是否记录完整轨迹以支持回放与评估?
  • 单位任务成本、P95 延迟与成功率是否可度量?

达标清单

  • [ ] 能定义一个符合 JSON Schema 的工具,并处理参数校验失败。
  • [ ] 能实现一个带最大步数与错误重试的 Agent 循环。
  • [ ] 能说明 MCP 的 Host/Client/Server 角色与一次工具调用的消息序列。
  • [ ] 能解释上下文压缩对长任务成功率的影响,并实现摘要式记忆。
  • [ ] 能计算给定模型与序列长度下的 KV Cache 显存与解码延迟瓶颈。
  • [ ] 能比较数据并行、张量并行、流水线并行与 ZeRO 的显存与通信代价。
  • [ ] 能给出一个含评估、监控与成本上限的端到端方案。

阶段项目

构建一个可演示的任务执行 Agent:

  1. 定义 3–5 个工具(文件检索、计算、HTTP 查询、数据库查询),使用 MCP 或等价 schema。
  2. 实现循环:计划、工具调用、结果回填、终止判断、失败重试。
  3. 加入记忆:会话内摘要与跨会话检索记忆。
  4. 记录轨迹并在 50 条任务上评估成功率、平均步数、P95 延迟与单任务成本。
  5. 做一次消融:去掉重排、去掉记忆、去掉重试,分别报告指标变化。

验收标准:轨迹可回放;失败案例可归因;成本与延迟有实测数据。

参考来源

  • Anthropic, "Building effective agents", 2024 —— 工作流与 Agent 的模式划分。
  • Model Context Protocol 规范, modelcontextprotocol.io —— 协议架构与消息格式。
  • Yao et al., "ReAct: Synergizing Reasoning and Acting in Language Models", arXiv:2210.03629。
  • Kwon et al., "Efficient Memory Management for Large Language Model Serving with PagedAttention", 2023 —— vLLM 与批处理调度。
  • Rajbhandari et al., "ZeRO: Memory Optimizations Toward Training Trillion Parameter Models", 2020。