实验:用 Python 检查检索效果
先把问题和相关片段 ID 标好,再评估检索结果。这个实验不需要向量库或模型,可以直接观察“是否找到”和“排在前面”之间的区别。
准备示例数据
将以下四条记录保存为 retrieval_cases.jsonl,计算前 3 个检索结果的指标。
{"id":"agent-basics","relevant":["agent-1","agent-2"],"predicted":["agent-2","noise","agent-1"]}
{"id":"mcp-tools","relevant":["mcp-1"],"predicted":["noise","mcp-1"]}
{"id":"rag-source","relevant":["rag-1"],"predicted":["noise"]}
{"id":"outside-corpus","relevant":[],"predicted":[]}
数据格式与评价链路
{"id":"q1","relevant":["doc-a","doc-b"],"predicted":["doc-b","noise","doc-a"]}
relevant 是人工标注的相关片段集合;predicted 是检索器按名次返回的片段 ID 列表。文件每行一个 JSON 对象,每个样本有唯一 ID。
两个指标分别看什么
| 指标 | 计算方式 | 解释 |
|---|---|---|
| Recall@K | 前 K 个命中的相关片段数 / 全部相关片段数 | 目标证据覆盖多少 |
| RR@K | 前 K 个中第一个相关结果名次的倒数;未命中为 0 | 首个相关结果靠前吗 |
| MRR@K | 各题 RR@K 的平均值 | 整组问题的首个命中排序 |
本实验按二元相关性计算,预测列表先去重保序;重复相关 ID 不会多得分。没有相关片段的库外问题不进入这两个均值,应另外评估拒答或信息不足反馈。
示例输出
{
"k": 3,
"answerable_cases": 3,
"unanswerable_cases_excluded": 1,
"recall_at_k": 0.666667,
"mrr_at_k": 0.5
}
这是上面四条教学样本的计算结果。编写脚本时,可用重复结果、截断、空结果、非法 K 和重复样本 ID 做自检。
做两个小改动
- 把第二条样本的相关结果从第二名移到第一名。Recall@3 不变,MRR@3 上升。
- 把第一条样本的第二个相关片段移出前三名。Recall@3 下降,第一个命中的排名可能不变。
这说明单个指标无法覆盖所有质量维度。对多等级相关性可进一步引入 NDCG;对最终答案还需检查引用支持、事实正确性与拒答表现。
接上自己的检索系统
先固定一份标注集,再将关键词、向量、融合和重排各阶段输出转换为相同 JSONL 格式。比较逐题变化,保留失败问题和候选列表。数据版本、索引版本、过滤条件与 K 应一并记录。