跳到主要内容

训练、对齐与优化

本章 20 道题 · 完整目录

Q124:结构化输出的边界

约束解码和 JSON Schema 能减少格式错误,但需要处理拒绝、输出截断和不支持的 Schema,并在应用端检查数值范围、引用来源与业务关系。它不能独立解决所有幻觉与工具误用问题。参见 OpenAI Structured Outputs。

Q111:Agent 的微调训练和传统 LLM 微调有什么不同?​

详解​

传统 LLM 微调(SFT):训练模型“输入→输出”的映射,如问答对(Q→A)、摘要任务(文本→摘要)。

Agent 微调的特殊性:

维度传统 LLM 微调Agent 微调
数据格式文本→文本文本→行动序列(Thought+Action+Observation)
输出类型自然语言结构化工具调用(JSON)+推理+文本
训练目标预测下一个 token预测正确的行动序列(何时调用工具、调什么工具)
评估指标困惑度/生成质量工具调用准确率、任务完成率

Agent 微调数据示例:

输入:查询北京天气
输出(行动序列):
Thought: 用户需要天气信息,需要调用天气API
Action: search_weather(city="北京")
Observation: {"temp": "25", "condition": "晴"}
Thought: 获取到数据,生成回答
Answer: 北京今天晴,25°C

答题要点:强调 Agent 微调的核心差异是“训练行动序列”而非“训练文本映射”。

Q112:什么情况下需要对 Agent 进行微调?什么情况下应该用 Prompt Engineering?​

详解​

需要微调的情况:

情况说明
工具调用格式不稳定模型经常产生非法 JSON/参数错误
领域知识不足通用模型不了解领域专有工具和术语
特定工具调用模式需要稳定的多步调用模式
输出格式强约束需要精确的结构化输出

应该用 Prompt Engineering 的情况:需求快速变化(微调后改需求成本高)、通用模型能力足够、数据不足。

答题要点:用对比说明适用场景,强调“微调是固化能力,Prompt 是灵活调整”。

Q113:Agent 微调需要哪些训练数据?如何构建?​

详解​

四类训练数据:

数据类别示例来源
工具调用数据输入→正确的工具调用序列标注/从日志挖掘
多轮 Agent 轨迹完整的 Thought-Action-Observation运行已有 Agent 采集
错误纠正数据错误调用→正确调用人工标注失败案例
领域问答数据领域问题→正确答案领域专家标注

构建流程:采集已有 Agent 的运行日志 → 过滤成功轨迹 → 人工修正错误轨迹 → 增强多样性(不同表述)。

答题要点:说出至少 3 类训练数据,说明构建流程(日志采集+人工标注)。

Q114:Agent 的强化学习(RL)训练与 LLM 的 RLHF 有何不同?​

详解​

关键差异:

维度RLHFAgent RL
奖励来源人类偏好打分任务完成反馈(工具返回/最终结果)
环境对话环境工具环境(API、代码执行)
状态对话历史对话历史+环境状态
动作生成文本生成文本+工具调用

Agent RL 奖励设计:任务完成度(成功/失败)、步骤效率(少走弯路)、工具调用正确性(参数/选择)、最终答案质量。

答题要点:用对比表格说明差异,重点说明奖励来源的差异(人类偏好 vs 任务反馈)。

Q115:如何评估 Agent 微调的效果?有哪些指标?​

详解​

多维度评估指标:

类别指标
任务完成成功率、完成率、平均步骤数
工具使用工具选择准确率、参数正确率
质量答案准确率、最终输出质量(LLM-as-Judge)
效率延迟、Token 消耗
泛化新任务泛化能力(微调前后对比)

评估方法:固定测试集对比微调前后效果、A/B 测试、消融实验。

答题要点:分任务完成/工具使用/质量/效率四维度说指标,强调微调前后对比。

Q116:如何防止 Agent 在微调过程中产生灾难性遗忘(Catastrophic Forgetting)?​

详解​

三种遗忘场景与对策:

场景对策
通用能力遗忘微调数据混合 20-30% 通用数据
旧任务遗忘回放(Replay)旧任务数据
工具调用遗忘冻结底层参数,只训练顶层

技术手段:LoRA(低秩适配,只训练少量参数)、混合训练数据、渐进微调。

答题要点:说明灾难性遗忘的定义,说出对策(LoRA+混合数据+回放)。

Q117:Prompt 调优和模型微调在 Agent 场景下的成本和效果如何对比?​

详解​

维度Prompt 调优模型微调
前期成本低(只需调文本)高(需数据+算力+训练)
迭代速度快(改 Prompt 即生效)慢(训练+部署周期长)
稳定性中(可能漂移)高(参数固化)
效果上限依赖基础模型能力可突破基础模型限制
适用阶段快速验证、持续调优能力达到瓶颈后固化

答题要点:用对比表格说明,强调“先 Prompt 后微调”的渐进路径。

Q118:如何设计 Agent 的奖励模型(Reward Model)?​

详解​

多维度奖励设计:

奖励维度打分方式
任务完成度工具返回成功/失败、最终结果
步骤效率是否走不必要的弯路
工具正确性工具选择/参数是否正确
答案质量LLM-as-Judge 评分

综合奖励:Reward = w1×完成度 + w2×效率 + w3×正确性 + w4×质量,权重根据业务目标设定。

答题要点:展示多维度奖励公式,说明各维度权重根据业务目标调整。

Q119:什么是 Tool Learning?Agent 如何学会使用新工具?​

详解​

Tool Learning 定义:让 LLM 学会正确、安全地使用外部工具。

学习方式:

方式说明
In-context Learning在 Prompt 中提供工具描述和示例,即学即用
微调用工具调用数据训练模型
检索增强从工具库中检索相关工具描述注入上下文
强化学习通过任务反馈学习最优工具调用策略

答题要点:说出至少 3 种学习方式,重点说明 In-context Learning(零样本工具使用)。

Q120:如何让 Agent 学会调用新 API(无需重新训练)?​

详解​

三种方法:

  1. In-context 示例:在新 API 的 Function 定义中提供示例,模型通过上下文学习调用方式。
  2. 工具描述优化:把新 API 描述写清楚(含参数含义、使用场景、示例),让模型能正确选择调用。
  3. 检索注入:将新 API 的 Schema 存入工具库,Agent 通过相似度检索动态注入。

答题要点:重点说明 In-context 方法(提供 Schema+示例),强调描述质量影响调用准确率。

Q121:Agent 的 Context 窗口不够用时,如何通过微调解决?​

详解​

两种方案对比:

方案原理适用
长上下文微调训练模型支持更长输入(如 RoPE 扩展)需要真正长文本理解
记忆压缩微调训练模型压缩旧信息到固定摘要对话场景

答题要点:说明两种方案的区别,强调“先压缩/管理上下文,再考虑微调”的优先级。

Q122:如何设计 Agent 的冷启动(Cold Start)策略?​

详解​

冷启动路径:

阶段方法目的
1. 模板启动用预设 Prompt 模板 + 少量示例快速跑通
2. 规则兜底关键流程用确定性规则(if-else)保证核心可用
3. 数据积累运行中采集成功/失败轨迹为微调准备数据
4. 迭代优化用积累数据微调/优化逐步提升

答题要点:展示四阶段冷启动路径,强调“先用模板跑通,再积累数据优化”。

Q123:如何评估 Agent 的泛化能力(处理未见过的任务)?​

详解​

评估方法:

方法说明
新任务测试用训练中未出现的新类型任务测试
工具组合测试测试未训练过的工具组合
领域外测试用不同领域的问题测试
泛化差距计算对比训练集和测试集效果差距

答题要点:说出至少 3 种评估方法,强调“用新任务测泛化,对比差距”。

Q124:Agent 的输出格式不稳定(有时 JSON 有时文本),如何解决?​

详解​

三管齐下:

方案说明
结构化输出用 OpenAI structured outputs 或 constrained decoding 强制 JSON
Prompt 约束明确输出格式 + 提供格式示例
解析容错写鲁棒的解析器,能容忍部分格式偏差

答题要点:重点说明结构化输出(constrained decoding)是根治方案,解析容错是兜底。

Q125:如何优化 Agent 的推理速度(减少延迟)?​

详解​

六大优化策略:

策略说明效果
模型量化8-bit/4-bit 量化减小模型推理提速 2-4 倍
蒸馏大模型蒸馏为小模型提速+降成本
推理缓存缓存重复推理结果命中即答
早期退出简单问题用浅层推理减少计算
并行工具独立工具并行调用减少串行等待
流式输出Streaming 首 token 更快降低感知延迟

答题要点:说出至少 4 个优化策略,重点说明量化和缓存。

Q126:如何防止 Agent 过度调用工具(工具滥用)?​

详解​

四种控制手段:

手段说明
调用上限单任务工具调用次数上限(如 10 次)
必要性检查工具调用前判断是否必要(能直接回答则不调)
频率限制对同一工具调用频率限制(防循环)
循环检测检测重复调用同一参数,触发终止

答题要点:说出至少 3 种控制手段,强调“循环检测”(Agent 反复调用同一工具死循环)。

Q127:Agent 的 Prompt 缓存(Prompt Caching)如何实现?​

详解​

缓存策略:

缓存对象说明
System Prompt长期不变的指令,缓存节省固定开销
工具描述工具 Schema 不变,可缓存
检索上下文相同查询的检索结果可缓存
历史对话前缀长对话前缀可缓存(带 TTL)

实现:利用 LLM 服务商的 prefix caching(OpenAI/Anthropic 自动缓存相同前缀),或自己在 Redis 缓存完整 Prompt 结果。

答题要点:说出可缓存的 Prompt 部分,说明利用服务商 prefix caching + 自建 Redis 两种方式。

Q128:如何设计 Agent 的“思考预算”(推理 token 上限)?​

详解​

设计方法:

层级预算说明
问题分类简单/中等/复杂按复杂度分配不同预算
Token 上限简单 500 / 中等 1500 / 复杂 5000防止无限推理
步骤上限工具调用最多 N 次防止死循环
超时控制整体超时(如 30 秒)防止卡住

答题要点:展示按问题复杂度分级分配预算的方法,强调超时兜底。

Q129:Agent 的模型选择策略(什么时候用大模型,什么时候用小模型)?​

详解​

分级路由策略:

用户请求
│
▼
┌──────────────┐
│ 轻量分类器 │ ──→ 判断复杂度
└──────────────┘
│
├──→ 简单任务 → 小模型(快速/低成本)
├──→ 中等任务 → 中型模型
└──→ 复杂任务 → 大模型(强推理)

选择依据:任务复杂度、工具调用数量、推理深度、延迟要求、成本预算。

答题要点:展示分级路由架构,说明各模型的适用任务和权衡。

Q130:如何给 Agent 做 Prompt 的版本管理和 A/B 测试?​

详解​

版本管理:

Prompt 注册中心
├── v1.0 (初始版本)
├── v1.1 (优化描述)
└── v2.0 (重构版本 - 灰度中)

A/B 测试流程:定义指标(成功率/质量分)→ 流量分流(A 组旧版,B 组新版)→ 统计对比 → 胜出版本全量。

答题要点:展示版本管理架构,说明 A/B 测试的完整流程(分流→对比→全量)。