跳到主要内容

实验:用 Python 检查检索效果

先把问题和相关片段 ID 标好,再评估检索结果。这个实验不需要向量库或模型,可以直接观察“是否找到”和“排在前面”之间的区别。

准备示例数据​

将以下四条记录保存为 retrieval_cases.jsonl,计算前 3 个检索结果的指标。

{"id":"agent-basics","relevant":["agent-1","agent-2"],"predicted":["agent-2","noise","agent-1"]}
{"id":"mcp-tools","relevant":["mcp-1"],"predicted":["noise","mcp-1"]}
{"id":"rag-source","relevant":["rag-1"],"predicted":["noise"]}
{"id":"outside-corpus","relevant":[],"predicted":[]}

数据格式与评价链路​

{"id":"q1","relevant":["doc-a","doc-b"],"predicted":["doc-b","noise","doc-a"]}

relevant 是人工标注的相关片段集合;predicted 是检索器按名次返回的片段 ID 列表。文件每行一个 JSON 对象,每个样本有唯一 ID。

两个指标分别看什么​

指标计算方式解释
Recall@K前 K 个命中的相关片段数 / 全部相关片段数目标证据覆盖多少
RR@K前 K 个中第一个相关结果名次的倒数;未命中为 0首个相关结果靠前吗
MRR@K各题 RR@K 的平均值整组问题的首个命中排序

本实验按二元相关性计算,预测列表先去重保序;重复相关 ID 不会多得分。没有相关片段的库外问题不进入这两个均值,应另外评估拒答或信息不足反馈。

示例输出​

{
"k": 3,
"answerable_cases": 3,
"unanswerable_cases_excluded": 1,
"recall_at_k": 0.666667,
"mrr_at_k": 0.5
}

这是上面四条教学样本的计算结果。编写脚本时,可用重复结果、截断、空结果、非法 K 和重复样本 ID 做自检。

做两个小改动​

  1. 把第二条样本的相关结果从第二名移到第一名。Recall@3 不变,MRR@3 上升。
  2. 把第一条样本的第二个相关片段移出前三名。Recall@3 下降,第一个命中的排名可能不变。

这说明单个指标无法覆盖所有质量维度。对多等级相关性可进一步引入 NDCG;对最终答案还需检查引用支持、事实正确性与拒答表现。

接上自己的检索系统​

先固定一份标注集,再将关键词、向量、融合和重排各阶段输出转换为相同 JSONL 格式。比较逐题变化,保留失败问题和候选列表。数据版本、索引版本、过滤条件与 K 应一并记录。

继续阅读:混合检索与重排 · 评测设计。