训练、对齐与优化
本章 20 道题 · 完整目录
约束解码和 JSON Schema 能减少格式错误,但需要处理拒绝、输出截断和不支持的 Schema,并在应用端检查数值范围、引用来源与业务关系。它不能独立解决所有幻觉与工具误用问题。参见 OpenAI Structured Outputs。
Q111:Agent 的微调训练和传统 LLM 微调有什么不同?
详解
传统 LLM 微调(SFT):训练模型“输入→输出”的映射,如问答对(Q→A)、摘要任务(文本→摘要)。
Agent 微调的特殊性:
| 维度 | 传统 LLM 微调 | Agent 微调 |
|---|---|---|
| 数据格式 | 文本→文本 | 文本→行动序列(Thought+Action+Observation) |
| 输出类型 | 自然语言 | 结构化工具调用(JSON)+推理+文本 |
| 训练目标 | 预测下一个 token | 预测正确的行动序列(何时调用工具、调什么工具) |
| 评估指标 | 困惑度/生成质量 | 工具调用准确率、任务完成率 |
Agent 微调数据示例:
输入:查询北京天气
输出(行动序列):
Thought: 用户需要天气信息,需要调用天气API
Action: search_weather(city="北京")
Observation: {"temp": "25", "condition": "晴"}
Thought: 获取到数据,生成回答
Answer: 北京今天晴,25°C
答题要点:强调 Agent 微调的核心差异是“训练行动序列”而非“训练文本映射”。
Q112:什么情况下需要对 Agent 进行微调?什么情况下应该用 Prompt Engineering?
详解
需要微调的情况:
| 情况 | 说明 |
|---|---|
| 工具调用格式不稳定 | 模型经常产生非法 JSON/参数错误 |
| 领域知识不足 | 通用模型不了解领域专有工具和术语 |
| 特定工具调用模式 | 需要稳定的多步调用模式 |
| 输出格式强约束 | 需要精确的结构化输出 |
应该用 Prompt Engineering 的情况:需求快速变化(微调后改需求成本高)、通用模型能力足够、数据不足。
答题要点:用对比说明适用场景,强调“微调是固化能力,Prompt 是灵活调整”。
Q113:Agent 微调需要哪些训练数据?如何构建?
详解
四类训练数据:
| 数据类别 | 示例 | 来源 |
|---|---|---|
| 工具调用数据 | 输入→正确的工具调用序列 | 标注/从日志挖掘 |
| 多轮 Agent 轨迹 | 完整的 Thought-Action-Observation | 运行已有 Agent 采集 |
| 错误纠正数据 | 错误调用→正确调用 | 人工标注失败案例 |
| 领域问答数据 | 领域问题→正确答案 | 领域专家标注 |
构建流程:采集已有 Agent 的运行日志 → 过滤成功轨迹 → 人工修正错误轨迹 → 增强多样性(不同表述)。
答题要点:说出至少 3 类训练数据,说明构建流程(日志采集+人工标注)。
Q114:Agent 的强化学习(RL)训练与 LLM 的 RLHF 有何不同?
详解
关键差异:
| 维度 | RLHF | Agent RL |
|---|---|---|
| 奖励来源 | 人类偏好打分 | 任务完成反馈(工具返回/最终结果) |
| 环境 | 对话环境 | 工具环境(API、代码执行) |
| 状态 | 对话历史 | 对话历史+环境状态 |
| 动作 | 生成文本 | 生成文本+工具调用 |
Agent RL 奖励设计:任务完成度(成功/失败)、步骤效率(少走弯路)、工具调用正确性(参数/选择)、最终答案质量。
答题要点:用对比表格说明差异,重点说明奖励来源的差异(人类偏好 vs 任务反馈)。
Q115:如何评估 Agent 微调的效果?有哪些指标?
详解
多维度评估指标:
| 类别 | 指标 |
|---|---|
| 任务完成 | 成功率、完成率、平均步骤数 |
| 工具使用 | 工具选择准确率、参数正确率 |
| 质量 | 答案准确率、最终输出质量(LLM-as-Judge) |
| 效率 | 延迟、Token 消耗 |
| 泛化 | 新任务泛化能力(微调前后对比) |
评估方法:固定测试集对比微调前后效果、A/B 测试、消融实验。
答题要点:分任务完成/工具使用/质量/效率四维度说指标,强调微调前后对比。
Q116:如何防止 Agent 在微调过程中产生灾难性遗忘(Catastrophic Forgetting)?
详解
三种遗忘场景与对策:
| 场景 | 对策 |
|---|---|
| 通用能力遗忘 | 微调数据混合 20-30% 通用数据 |
| 旧任务遗忘 | 回放(Replay)旧任务数据 |
| 工具调用遗忘 | 冻结底层参数,只训练顶层 |
技术手段:LoRA(低秩适配,只训练少量参数)、混合训练数据、渐进微调。
答题要点:说明灾难性遗忘的定义,说出对策(LoRA+混合数据+回放)。
Q117:Prompt 调优和模型微调在 Agent 场景下的成本和效果如何对比?
详解
| 维度 | Prompt 调优 | 模型微调 |
|---|---|---|
| 前期成本 | 低(只需调文本) | 高(需数据+算力+训练) |
| 迭代速度 | 快(改 Prompt 即生效) | 慢(训练+部署周期长) |
| 稳定性 | 中(可能漂移) | 高(参数固化) |
| 效果上限 | 依赖基础模型能力 | 可突破基础模型限制 |
| 适用阶段 | 快速验证、持续调优 | 能力达到瓶颈后固化 |
答题要点:用对比表格说明,强调“先 Prompt 后微调”的渐进路径。
Q118:如何设计 Agent 的奖励模型(Reward Model)?
详解
多维度奖励设计:
| 奖励维度 | 打分方式 |
|---|---|
| 任务完成度 | 工具返回成功/失败、最终结果 |
| 步骤效率 | 是否走不必要的弯路 |
| 工具正确性 | 工具选择/参数是否正确 |
| 答案质量 | LLM-as-Judge 评分 |
综合奖励:Reward = w1×完成度 + w2×效率 + w3×正确性 + w4×质量,权重根据业务目标设定。
答题要点:展示多维度奖励公式,说明各维度权重根据业务目标调整。
Q119:什么是 Tool Learning?Agent 如何学会使用新工具?
详解
Tool Learning 定义:让 LLM 学会正确、安全地使用外部工具。
学习方式:
| 方式 | 说明 |
|---|---|
| In-context Learning | 在 Prompt 中提供工具描述和示例,即学即用 |
| 微调 | 用工具调用数据训练模型 |
| 检索增强 | 从工具库中检索相关工具描述注入上下文 |
| 强化学习 | 通过任务反馈学习最优工具调用策略 |
答题要点:说出至少 3 种学习方式,重点说明 In-context Learning(零样本工具使用)。
Q120:如何让 Agent 学会调用新 API(无需重新训练)?
详解
三种方法:
- In-context 示例:在新 API 的 Function 定义中提供示例,模型通过上下文学习调用方式。
- 工具描述优化:把新 API 描述写清楚(含参数含义、使用场景、示例),让模型能正确选择调用。
- 检索注入:将新 API 的 Schema 存入工具库,Agent 通过相似度检索动态注入。
答题要点:重点说明 In-context 方法(提供 Schema+示例),强调描述质量影响调用准确率。
Q121:Agent 的 Context 窗口不够用时,如何通过微调解决?
详解
两种方案对比:
| 方案 | 原理 | 适用 |
|---|---|---|
| 长上下文微调 | 训练模型支持更长输入(如 RoPE 扩展) | 需要真正长文本理解 |
| 记忆压缩微调 | 训练模型压缩旧信息到固定摘要 | 对话场景 |
答题要点:说明两种方案的区别,强调“先压缩/管理上下文,再考虑微调”的优先级。
Q122:如何设计 Agent 的冷启动(Cold Start)策略?
详解
冷启动路径:
| 阶段 | 方法 | 目的 |
|---|---|---|
| 1. 模板启动 | 用预设 Prompt 模板 + 少量示例 | 快速跑通 |
| 2. 规则兜底 | 关键流程用确定性规则(if-else) | 保证核心可用 |
| 3. 数据积累 | 运行中采集成功/失败轨迹 | 为微调准备数据 |
| 4. 迭代优化 | 用积累数据微调/优化 | 逐步提升 |
答题要点:展示四阶段冷启动路径,强调“先用模板跑通,再积累数据优化”。
Q123:如何评估 Agent 的泛化能力(处理未见过的任务)?
详解
评估方法:
| 方法 | 说明 |
|---|---|
| 新任务测试 | 用训练中未出现的新类型任务测试 |
| 工具组合测试 | 测试未训练过的工具组合 |
| 领域外测试 | 用不同领域的问题测试 |
| 泛化差距计算 | 对比训练集和测试集效果差距 |
答题要点:说出至少 3 种评估方法,强调“用新任务测泛化,对比差距”。
Q124:Agent 的输出格式不稳定(有时 JSON 有时文本),如何解决?
详解
三管齐下:
| 方案 | 说明 |
|---|---|
| 结构化输出 | 用 OpenAI structured outputs 或 constrained decoding 强制 JSON |
| Prompt 约束 | 明确输出格式 + 提供格式示例 |
| 解析容错 | 写鲁棒的解析器,能容忍部分格式偏差 |
答题要点:重点说明结构化输出(constrained decoding)是根治方案,解析容错是兜底。
Q125:如何优化 Agent 的推理速度(减少延迟)?
详解
六大优化策略:
| 策略 | 说明 | 效果 |
|---|---|---|
| 模型量化 | 8-bit/4-bit 量化减小模型 | 推理提速 2-4 倍 |
| 蒸馏 | 大模型蒸馏为小模型 | 提速+降成本 |
| 推理缓存 | 缓存重复推理结果 | 命中即答 |
| 早期退出 | 简单问题用浅层推理 | 减少计算 |
| 并行工具 | 独立工具并行调用 | 减少串行等待 |
| 流式输出 | Streaming 首 token 更快 | 降低感知延迟 |
答题要点:说出至少 4 个优化策略,重点说明量化和缓存。
Q126:如何防止 Agent 过度调用工具(工具滥用)?
详解
四种控制手段:
| 手段 | 说明 |
|---|---|
| 调用上限 | 单任务工具调用次数上限(如 10 次) |
| 必要性检查 | 工具调用前判断是否必要(能直接回答则不调) |
| 频率限制 | 对同一工具调用频率限制(防循环) |
| 循环检测 | 检测重复调用同一参数,触发终止 |
答题要点:说出至少 3 种控制手段,强调“循环检测”(Agent 反复调用同一工具死循环)。
Q127:Agent 的 Prompt 缓存(Prompt Caching)如何实现?
详解
缓存策略:
| 缓存对象 | 说明 |
|---|---|
| System Prompt | 长期不变的指令,缓存节省固定开销 |
| 工具描述 | 工具 Schema 不变,可缓存 |
| 检索上下文 | 相同查询的检索结果可缓存 |
| 历史对话前缀 | 长对话前缀可缓存(带 TTL) |
实现:利用 LLM 服务商的 prefix caching(OpenAI/Anthropic 自动缓存相同前缀),或自己在 Redis 缓存完整 Prompt 结果。
答题要点:说出可缓存的 Prompt 部分,说明利用服务商 prefix caching + 自建 Redis 两种方式。
Q128:如何设计 Agent 的“思考预算”(推理 token 上限)?
详解
设计方法:
| 层级 | 预算 | 说明 |
|---|---|---|
| 问题分类 | 简单/中等/复杂 | 按复杂度分配不同预算 |
| Token 上限 | 简单 500 / 中等 1500 / 复杂 5000 | 防止无限推理 |
| 步骤上限 | 工具调用最多 N 次 | 防止死循环 |
| 超时控制 | 整体超时(如 30 秒) | 防止卡住 |
答题要点:展示按问题复杂度分级分配预算的方法,强调超时兜底。
Q129:Agent 的模型选择策略(什么时候用大模型,什么时候用小模型)?
详解
分级路由策略:
用户请求
│
▼
┌──────────────┐
│ 轻量分类器 │ ──→ 判断复杂度
└──────────────┘
│
├──→ 简单任务 → 小模型(快速/低成本)
├──→ 中等任务 → 中型模型
└──→ 复杂任务 → 大模型(强推理)
选择依据:任务复杂度、工具调用数量、推理深度、延迟要求、成本预算。
答题要点:展示分级路由架构,说明各模型的适用任务和权衡。
Q130:如何给 Agent 做 Prompt 的版本管理和 A/B 测试?
详解
版本管理:
Prompt 注册中心
├── v1.0 (初始版本)
├── v1.1 (优化描述)
└── v2.0 (重构版本 - 灰度中)
A/B 测试流程:定义指标(成功率/质量分)→ 流量分流(A 组旧版,B 组新版)→ 统计对比 → 胜出版本全量。
答题要点:展示版本管理架构,说明 A/B 测试的完整流程(分流→对比→全量)。