评测与可观测性:知道哪里出了错
评测回答“这次改动是否改善任务结果”;可观测性回答“结果为什么这样”。两者共享运行记录,但一段漂亮的执行轨迹不能替代对最终产物的验收。
先定义任务是否通过
| 任务 | 可执行的检查 | 需要人工判断的部分 |
|---|---|---|
| 文档摘要 | 关键数字、来源字段、章节齐全 | 是否准确保留了限定条件 |
| 工具型 Agent | 参数有效、操作成功、状态一致 | 工具选择是否合理 |
| 知识库问答 | 引用存在、权限正确、目标证据被召回 | 引用能否支持完整结论 |
| 代码修改 | 编译、相关测试、输出文件存在 | 修改范围与可维护性 |
把通过条件在运行前写好。不要看到结果后再挑选对当前方案有利的指标。
评测集需要覆盖失败
建立正常任务、歧义输入、信息不足、工具超时、无权限、长输入与提示注入样本。每条记录保留输入、预期行为、参考证据和失败标签。调优集可以反复查看;独立测试集用于最终比较。
不同指标不要混成一个分数
- 任务通过率:通过验收的任务数 / 有效任务总数;同时报告分母和排除规则。
- 工具执行成功率:成功执行的调用数 / 实际发出的调用数;工具选错却执行成功仍可能导致任务失败。
- 检索 Recall@K:参考相关片段中,有多少进入前 K 个结果。
- P95 延迟:95% 请求耗时不超过该值;要说明并发、输入输出长度和硬件条件。
- 单次成功成本:总调用成本 / 成功任务数;失败重试也计入总成本。
平均质量变好时,也要看是否让权限、拒答或某一类长任务变差。
一条 Trace 应能连接哪些事件
run_id
├─ context_build:提示版本、片段 ID、输入规模
├─ model_call:模型、耗时、状态、用量
├─ tool_call:工具、参数摘要、耗时、结果类型
├─ checkpoint:状态版本与恢复点
└─ validation:验收项、结果、失败原因
Langfuse 的追踪可组织模型调用、工具与自定义步骤,帮助比较时间和输入输出。官方可观测性说明
日志要能定位问题,也要控制敏感信息。默认记录必要的摘要、标识和大小;对账号、密钥与个人信息做相应处理,原始内容按实际权限管理。
模型评分也要校准
让另一个模型按评分规则检查结果时,使用清晰维度与样例,定期用人工标注对照。模型评审可能偏好冗长答案、受候选顺序影响,或把文风当成事实准确性。对确定性要求,优先使用可执行规则。
动手实践:用 Python 计算 Recall@K 与 MRR · 面试对应 评估与可观测性章节。