跳到主要内容

评测与可观测性:知道哪里出了错

评测回答“这次改动是否改善任务结果”;可观测性回答“结果为什么这样”。两者共享运行记录,但一段漂亮的执行轨迹不能替代对最终产物的验收。

先定义任务是否通过​

任务可执行的检查需要人工判断的部分
文档摘要关键数字、来源字段、章节齐全是否准确保留了限定条件
工具型 Agent参数有效、操作成功、状态一致工具选择是否合理
知识库问答引用存在、权限正确、目标证据被召回引用能否支持完整结论
代码修改编译、相关测试、输出文件存在修改范围与可维护性

把通过条件在运行前写好。不要看到结果后再挑选对当前方案有利的指标。

评测集需要覆盖失败​

建立正常任务、歧义输入、信息不足、工具超时、无权限、长输入与提示注入样本。每条记录保留输入、预期行为、参考证据和失败标签。调优集可以反复查看;独立测试集用于最终比较。

不同指标不要混成一个分数​

  • 任务通过率:通过验收的任务数 / 有效任务总数;同时报告分母和排除规则。
  • 工具执行成功率:成功执行的调用数 / 实际发出的调用数;工具选错却执行成功仍可能导致任务失败。
  • 检索 Recall@K:参考相关片段中,有多少进入前 K 个结果。
  • P95 延迟:95% 请求耗时不超过该值;要说明并发、输入输出长度和硬件条件。
  • 单次成功成本:总调用成本 / 成功任务数;失败重试也计入总成本。

平均质量变好时,也要看是否让权限、拒答或某一类长任务变差。

一条 Trace 应能连接哪些事件​

run_id
├─ context_build:提示版本、片段 ID、输入规模
├─ model_call:模型、耗时、状态、用量
├─ tool_call:工具、参数摘要、耗时、结果类型
├─ checkpoint:状态版本与恢复点
└─ validation:验收项、结果、失败原因

Langfuse 的追踪可组织模型调用、工具与自定义步骤,帮助比较时间和输入输出。官方可观测性说明

日志要能定位问题,也要控制敏感信息。默认记录必要的摘要、标识和大小;对账号、密钥与个人信息做相应处理,原始内容按实际权限管理。

模型评分也要校准​

让另一个模型按评分规则检查结果时,使用清晰维度与样例,定期用人工标注对照。模型评审可能偏好冗长答案、受候选顺序影响,或把文风当成事实准确性。对确定性要求,优先使用可执行规则。

动手实践:用 Python 计算 Recall@K 与 MRR · 面试对应 评估与可观测性章节。