评估与可观测性
本章 15 道题 · 完整目录
Q146:Agent 评估指标和 LLM 评估指标有什么不同?
详解
核心差异:
| 维度 | LLM 评估 | Agent 评估 |
|---|---|---|
| 关注点 | 生成内容质量 | 任务完成 + 行为质量 |
| 评估对象 | 单次输出 | 完整行动轨迹(多步) |
| 新增指标 | — | 工具调用准确率、步骤效率、任务成功率 |
| 评估方式 | 文本质量打分 | 整条轨迹评估(LLM-as-Judge) |
答题要点:强调 Agent 评估需评估“行动轨迹”而非“单次输出”。
Q147:LLM-as-a-Judge 评估 Agent 有哪些注意事项?
详解
七大注意事项:
| 注意点 | 说明 |
|---|---|
| 评分标准明确 | 定义清晰、无歧义的评分维度 |
| 提供参考答案 | 给 Judge 标准答案做参照 |
| 避免偏见 | 位置偏见(答案顺序)、长度偏见(越长分越高) |
| 自一致性 | 多次评分结果应稳定 |
| 与人工对齐 | Judge 评分与人工评分一致性校验 |
| 分步评估 | 对行动轨迹分步评估(工具使用、推理、最终答案) |
| 领域适配 | 用领域专家数据校准 |
答题要点:说出至少 4 个注意事项,重点说明位置/长度偏见和与人工对齐。
Q148:如何评估 Agent 的工具使用能力?
详解
工具评估指标:
| 指标 | 定义 |
|---|---|
| 工具选择准确率 | 是否正确选择了需要的工具 |
| 参数正确率 | 工具参数是否填写正确 |
| 调用时机正确率 | 是否在该调用的时候调用 |
| 调用成功率 | 工具调用是否成功执行 |
评估方法:预设测试任务(已知需要调用的工具),对比 Agent 实际调用与期望调用。
答题要点:说出至少 3 个工具评估指标,说明对比实际调用与期望调用的方法。
Q149:Agent 评估中,如何避免评估结果被 LLM 偏见影响?
详解
四种去偏见方法:
| 方法 | 说明 |
|---|---|
| 位置随机化 | 多个候选答案随机排序,消除位置偏见 |
| 长度控制 | 控制答案长度相近,消除长度偏见 |
| 盲评 | 隐藏 Agent 身份,只评估输出 |
| 多模型投票 | 多个 Judge 模型投票,取多数 |
答题要点:说出至少 3 个去偏见方法,重点说明位置随机化和盲评。
Q150:Agent 的可观测性(Observability)包含哪些?
详解
三大可观测维度:
| 维度 | 采集数据 | 用途 |
|---|---|---|
| Logs(日志) | 输入/输出/工具调用/决策过程 | 问题定位、审计 |
| Metrics(指标) | 成功率、延迟、Token 消耗、成本 | 性能监控、SLA |
| Traces(链路) | 端到端调用链(LLM→工具→数据库) | 延迟瓶颈分析 |
答题要点:展示三大维度,说明各自的数据和用途,强调 Traces 对 Agent 特别重要(多步调用)。
Q151:如何追踪和记录 Agent 的每一步决策?
详解
决策追踪设计:
Trace 结构:
step 1: Thought="需要搜索天气" → Action=search(city=北京)
step 2: Observation=25°C → Thought="信息足够,生成回答"
记录内容:时间戳、步骤序号、思考内容、工具调用(名称/参数/结果)、成本(token)。
工具:LangSmith、Langfuse、自建日志系统。
答题要点:展示 Trace 结构,说明记录内容(思考+行动+结果+成本)。
Q152:Agent 的可视化调试(Visual Debugging)如何实现?
详解
可视化调试手段:
| 手段 | 说明 |
|---|---|
| 流程图展示 | 将 Agent 轨迹渲染为流程图(节点=步骤,边=转移) |
| 状态查看 | 实时查看各 Agent 状态和共享状态 |
| 断点暂停 | 在关键节点暂停,人工检查后继续 |
| 数据面板 | 展示工具调用次数、Token 消耗、延迟 |
工具:LangGraph Studio、LangSmith 的 trace 可视化、自建 dashboard。
答题要点:说出至少 2 个可视化手段,重点说明流程图渲染 Agent 轨迹。
Q153:Agent 的线上监控(Production Monitoring)如何设计?
详解
监控设计:
| 层级 | 监控项 | 告警 |
|---|---|---|
| 系统层 | 延迟、吞吐、错误率 | P95 超阈值、错误率超阈值 |
| Agent 层 | 任务成功率、工具成功率 | 成功率下降 |
| 业务层 | 用户满意度、转化率 | 业务指标异常 |
答题要点:展示三层监控(系统/Agent/业务),说明各自的告警条件。
Q154:Agent 的离线评估和在线评估有什么区别?如何结合?
详解
| 维度 | 离线评估 | 在线评估 |
|---|---|---|
| 数据 | 固定测试集 | 真实用户流量 |
| 场景 | 发版前 | 生产运行中 |
| 指标 | 准确率、检索指标 | 用户反馈、转化率 |
| 目的 | 验证质量 | 监控效果、发现问题 |
结合方式:离线评估验证质量再发版 → 在线评估持续监控 → 发现问题回归离线定位。
答题要点:用对比表格说明差异,强调“离线验证+在线监控”闭环。
Q155:如何设计 Agent 的评估测试集?
详解
测试集设计:
| 类型 | 示例 | 目的 |
|---|---|---|
| 正常任务 | 典型用户场景 | 验证基本功能 |
| 边缘任务 | 模糊输入、异常输入 | 验证鲁棒性 |
| 困难任务 | 多跳、长任务 | 验证上限 |
| 安全任务 | 注入、越权 | 验证安全 |
| 回归任务 | 历史问题 | 防回归 |
答题要点:说出至少 3 种测试类型,说明各自的验证目的。
Q156:Agent 评估中,如何保证评估结果可复现(Reproducible)?
详解
可复现性保障:
| 因素 | 措施 |
|---|---|
| 固定模型版本 | 记录模型版本,评估用固定版本 |
| 固定温度 | 评估用固定 temperature(如 0) |
| 固定测试集 | 测试集版本管理 |
| 固定环境 | 工具环境版本固定 |
| 记录参数 | 完整记录评估配置(模型、温度、Prompt 版本) |
答题要点:说出至少 3 个可复现性保障,强调记录评估配置。
Q157:如何做 Agent 的 A/B 测试?
详解
A/B 测试流程:
| 步骤 | 说明 |
|---|---|
| 1. 定义指标 | 成功率、质量分、用户满意度 |
| 2. 流量分流 | 用户随机分流 A(旧)B(新) |
| 3. 运行周期 | 足够的样本量(如 7 天) |
| 4. 统计对比 | 显著性检验 |
| 5. 决策 | 胜出版本全量上线 |
答题要点:展示 A/B 测试五步流程,强调样本量和显著性检验。
Q158:Agent 评估中,如何平衡“任务完成率”和“步骤效率”?
详解
权衡思路:
任务完成率(越高越好) vs 步骤效率(步骤越少越好)
平衡方法:完成率是硬指标(必须达标),步骤效率是软指标(达标后优化)。用综合得分 Score = 0.7×完成率 + 0.3×(1/步骤数) 平衡。
答题要点:说明完成率优先(硬指标)、效率次之(软指标),展示综合得分公式。
Q159:如何评估 Agent 的端到端用户体验?
详解
端到端评估维度:
| 维度 | 评估内容 |
|---|---|
| 任务成功率 | 用户需求是否被满足 |
| 交互质量 | 回答是否准确、及时、友好 |
| 效率 | 完成任务用时、步骤数 |
| 满意度 | 用户反馈(评分/推荐) |
| 容错 | 出错时是否妥善处理 |
答题要点:说出至少 3 个端到端评估维度,说明满意度收集方式(用户评分/反馈)。
Q160:Agent 的 Prompt 和工具 Schema 发生变化时,如何评估影响?
详解
变更评估流程:
| 步骤 | 说明 |
|---|---|
| 1. 回归测试 | 跑一遍原有测试集,对比指标 |
| 2. 重点任务验证 | 验证变更影响的核心任务 |
| 3. 泛化验证 | 新增任务测试,检查泛化 |
| 4. 性能对比 | 对比变更前后延迟/成本 |
| 5. 灰度观察 | 小流量灰度,观察线上指标 |
答题要点:展示变更评估五步流程,强调回归测试和灰度观察。