跳到主要内容

评估与可观测性

本章 15 道题 · 完整目录

Q146:Agent 评估指标和 LLM 评估指标有什么不同?​

详解​

核心差异:

维度LLM 评估Agent 评估
关注点生成内容质量任务完成 + 行为质量
评估对象单次输出完整行动轨迹(多步)
新增指标—工具调用准确率、步骤效率、任务成功率
评估方式文本质量打分整条轨迹评估(LLM-as-Judge)

答题要点:强调 Agent 评估需评估“行动轨迹”而非“单次输出”。

Q147:LLM-as-a-Judge 评估 Agent 有哪些注意事项?​

详解​

七大注意事项:

注意点说明
评分标准明确定义清晰、无歧义的评分维度
提供参考答案给 Judge 标准答案做参照
避免偏见位置偏见(答案顺序)、长度偏见(越长分越高)
自一致性多次评分结果应稳定
与人工对齐Judge 评分与人工评分一致性校验
分步评估对行动轨迹分步评估(工具使用、推理、最终答案)
领域适配用领域专家数据校准

答题要点:说出至少 4 个注意事项,重点说明位置/长度偏见和与人工对齐。

Q148:如何评估 Agent 的工具使用能力?​

详解​

工具评估指标:

指标定义
工具选择准确率是否正确选择了需要的工具
参数正确率工具参数是否填写正确
调用时机正确率是否在该调用的时候调用
调用成功率工具调用是否成功执行

评估方法:预设测试任务(已知需要调用的工具),对比 Agent 实际调用与期望调用。

答题要点:说出至少 3 个工具评估指标,说明对比实际调用与期望调用的方法。

Q149:Agent 评估中,如何避免评估结果被 LLM 偏见影响?​

详解​

四种去偏见方法:

方法说明
位置随机化多个候选答案随机排序,消除位置偏见
长度控制控制答案长度相近,消除长度偏见
盲评隐藏 Agent 身份,只评估输出
多模型投票多个 Judge 模型投票,取多数

答题要点:说出至少 3 个去偏见方法,重点说明位置随机化和盲评。

Q150:Agent 的可观测性(Observability)包含哪些?​

详解​

三大可观测维度:

维度采集数据用途
Logs(日志)输入/输出/工具调用/决策过程问题定位、审计
Metrics(指标)成功率、延迟、Token 消耗、成本性能监控、SLA
Traces(链路)端到端调用链(LLM→工具→数据库)延迟瓶颈分析

答题要点:展示三大维度,说明各自的数据和用途,强调 Traces 对 Agent 特别重要(多步调用)。

Q151:如何追踪和记录 Agent 的每一步决策?​

详解​

决策追踪设计:

Trace 结构:
step 1: Thought="需要搜索天气" → Action=search(city=北京)
step 2: Observation=25°C → Thought="信息足够,生成回答"

记录内容:时间戳、步骤序号、思考内容、工具调用(名称/参数/结果)、成本(token)。

工具:LangSmith、Langfuse、自建日志系统。

答题要点:展示 Trace 结构,说明记录内容(思考+行动+结果+成本)。

Q152:Agent 的可视化调试(Visual Debugging)如何实现?​

详解​

可视化调试手段:

手段说明
流程图展示将 Agent 轨迹渲染为流程图(节点=步骤,边=转移)
状态查看实时查看各 Agent 状态和共享状态
断点暂停在关键节点暂停,人工检查后继续
数据面板展示工具调用次数、Token 消耗、延迟

工具:LangGraph Studio、LangSmith 的 trace 可视化、自建 dashboard。

答题要点:说出至少 2 个可视化手段,重点说明流程图渲染 Agent 轨迹。

Q153:Agent 的线上监控(Production Monitoring)如何设计?​

详解​

监控设计:

层级监控项告警
系统层延迟、吞吐、错误率P95 超阈值、错误率超阈值
Agent 层任务成功率、工具成功率成功率下降
业务层用户满意度、转化率业务指标异常

答题要点:展示三层监控(系统/Agent/业务),说明各自的告警条件。

Q154:Agent 的离线评估和在线评估有什么区别?如何结合?​

详解​

维度离线评估在线评估
数据固定测试集真实用户流量
场景发版前生产运行中
指标准确率、检索指标用户反馈、转化率
目的验证质量监控效果、发现问题

结合方式:离线评估验证质量再发版 → 在线评估持续监控 → 发现问题回归离线定位。

答题要点:用对比表格说明差异,强调“离线验证+在线监控”闭环。

Q155:如何设计 Agent 的评估测试集?​

详解​

测试集设计:

类型示例目的
正常任务典型用户场景验证基本功能
边缘任务模糊输入、异常输入验证鲁棒性
困难任务多跳、长任务验证上限
安全任务注入、越权验证安全
回归任务历史问题防回归

答题要点:说出至少 3 种测试类型,说明各自的验证目的。

Q156:Agent 评估中,如何保证评估结果可复现(Reproducible)?​

详解​

可复现性保障:

因素措施
固定模型版本记录模型版本,评估用固定版本
固定温度评估用固定 temperature(如 0)
固定测试集测试集版本管理
固定环境工具环境版本固定
记录参数完整记录评估配置(模型、温度、Prompt 版本)

答题要点:说出至少 3 个可复现性保障,强调记录评估配置。

Q157:如何做 Agent 的 A/B 测试?​

详解​

A/B 测试流程:

步骤说明
1. 定义指标成功率、质量分、用户满意度
2. 流量分流用户随机分流 A(旧)B(新)
3. 运行周期足够的样本量(如 7 天)
4. 统计对比显著性检验
5. 决策胜出版本全量上线

答题要点:展示 A/B 测试五步流程,强调样本量和显著性检验。

Q158:Agent 评估中,如何平衡“任务完成率”和“步骤效率”?​

详解​

权衡思路:

任务完成率(越高越好) vs 步骤效率(步骤越少越好)

平衡方法:完成率是硬指标(必须达标),步骤效率是软指标(达标后优化)。用综合得分 Score = 0.7×完成率 + 0.3×(1/步骤数) 平衡。

答题要点:说明完成率优先(硬指标)、效率次之(软指标),展示综合得分公式。

Q159:如何评估 Agent 的端到端用户体验?​

详解​

端到端评估维度:

维度评估内容
任务成功率用户需求是否被满足
交互质量回答是否准确、及时、友好
效率完成任务用时、步骤数
满意度用户反馈(评分/推荐)
容错出错时是否妥善处理

答题要点:说出至少 3 个端到端评估维度,说明满意度收集方式(用户评分/反馈)。

Q160:Agent 的 Prompt 和工具 Schema 发生变化时,如何评估影响?​

详解​

变更评估流程:

步骤说明
1. 回归测试跑一遍原有测试集,对比指标
2. 重点任务验证验证变更影响的核心任务
3. 泛化验证新增任务测试,检查泛化
4. 性能对比对比变更前后延迟/成本
5. 灰度观察小流量灰度,观察线上指标

答题要点:展示变更评估五步流程,强调回归测试和灰度观察。