跳到主要内容

混合检索与重排:先召回,再选证据

向量检索擅长语义相似,关键词检索常适合精确术语、编号与错误码。两条路径可以互补,但融合与重排是否有效,应通过自己的问题集验证。

一条可定位的检索链路​

关键词和向量分别召回,再按名次融合、重排。证据充分时带引用回答,否则补问或转人工。

保留每一层的片段 ID 和名次,才能区分召回漏掉、重排压低和上下文装配丢失。

Qdrant 的混合查询支持组合预取与融合,官方教程也展示了混合召回后重排的路径。具体字段与客户端版本应按实际服务核对。混合查询 · 混合检索与重排教程

融合时先处理分数不可比​

不同召回器的原始分数通常没有相同量纲。直接把相似度分数与关键词分数相加,可能让一条路径主导结果。基于名次的 RRF 可以作为一种融合基线:

某候选的 RRF 分数 = Σ 1 / (平滑常数 + 在该列表中的名次)

它利用候选在多个结果列表中的排名,不要求原始分数处于同一尺度。平滑常数与召回深度仍需验证;RRF 也不能补回根本没有被召回的证据。

用 Python 对比两条召回路径​

查询「更新 VPN 客户端后无法握手」时,关键词召回优先匹配 VPN,向量召回优先匹配远程接入故障的一般描述。两路都召回了 vpn-handshake,但它们都将该片段排在第二。以下代码用排名相加,示例中的两条列表表示已经按用户权限过滤的结果。

from collections import defaultdict


def reciprocal_rank_fusion(rankings, k=60):
if k <= 0:
raise ValueError("k must be positive")
scores = defaultdict(float)
for ranking in rankings:
for rank, chunk_id in enumerate(dict.fromkeys(ranking), 1):
scores[chunk_id] += 1 / (k + rank)
return sorted(scores.items(), key=lambda pair: (-pair[1], pair[0]))


keyword = ["vpn-settings", "vpn-handshake", "client-release-notes"]
semantic = ["remote-access-overview", "vpn-handshake", "vpn-handshake"]
ranked = reciprocal_rank_fusion([keyword, semantic])
assert ranked[0][0] == "vpn-handshake"
assert len(ranked) == 4
for chunk_id, score in ranked:
print(f"{chunk_id:24s} {score:.5f}")

第一名得分约为 0.03226,因为它在两路都排第二。其他两路的第一名各得约 0.01639。本例每路先去重再排名,同分时按片段 ID 排序以便复测。这能验证融合逻辑,是否更有利于回答仍要看 检索评测。

重排在解决什么问题​

召回阶段先尽量找出候选,重排阶段再让更精细的相关性模型比较“问题与片段”是否匹配。因为它需要处理候选内容,候选越多通常需要越多计算。

参数调大可能带来的好处需要观察的代价
召回数量更容易覆盖目标片段噪声、重排开销
重排候选数量更多候选得到细判延迟与资源消耗
最终上下文片段数证据更充分输入用量、重复与干扰
相邻片段扩展范围补回限定条件无关内容增加

用失败样本做针对性调整​

  • 术语或错误码搜不到:检查关键词索引、分词与精确字段,再考虑查询改写。
  • 描述同义但用词不同:检查语义召回是否覆盖,再看嵌入模型是否适用。
  • 正确候选在列表末尾:检查融合与重排,不急于重新切分全部文档。
  • 命中片段缺少前提:查看标题路径和相邻片段,避免将定义与约束切开。
  • 排序很好但回答仍错:检查上下文装配、引用和生成验收。

权限过滤要贯穿整条链​

每条召回路径都应限定可见范围,融合、缓存和重排后也不能引入未授权片段。只在页面展示时隐藏文档不够,因为内容可能已经进入模型输入。

接着运行 检索指标实验,把相关片段标注与候选列表留存下来。这样才知道修改是在改善召回、排序还是仅仅改变文风。