RAG 与知识库:从文档到可核对的回答
RAG(Retrieval-Augmented Generation)把外部检索结果提供给生成模型。一个可信的知识问答系统,需要同时处理文档质量、检索相关性、访问权限与答案引用。RAG 原论文
两条链路分别建设
索引链路决定“库里有什么”,在线链路决定“本次取出了什么、据此说了什么”。评测时把这两件事分开,才能定位问题。
文档切分先保留语义边界
先按标题、段落、列表、表格或代码块切分,再根据上下文长度合并。固定长度切块可以作为基线,但不能保证定义与限定条件留在同一段。
推荐的片段元数据包括:doc_id、chunk_id、标题路径、来源地址、版本、更新时间、权限标签与原文位置。重建索引时保留文档版本关系,避免同一制度的旧版与新版一起被引用。
检索到片段以后还要做什么
| 步骤 | 检查点 |
|---|---|
| 权限过滤 | 当前用户是否能看到这些文档 |
| 相关性筛选 | 片段是否真正回答问题 |
| 去重与合并 | 多个重叠片段是否挤占上下文 |
| 保留出处 | 片段能否定位回原文 |
| 生成与校验 | 引用是否存在,结论是否得到支持 |
“带引用”应当指向支持结论的具体片段。引用了某个文档标题,不代表文档支持句子中的所有事实。
回答错误时按链路排查
| 现象 | 先看哪里 | 一个可检查动作 |
|---|---|---|
| 根本搜不到目标内容 | 文档解析与索引 | 用准确标题或唯一词检索 |
| 候选有目标片段,最终没用到 | 排序与上下文装配 | 查看被截断和被去重的片段 |
| 有正确证据却答错 | 提示与生成 | 检查引用关系及限制条件 |
| 无证据却给出确定结论 | 拒答与验收 | 增加库外问题样本 |
| 返回了无权文档 | 身份与过滤链路 | 用不同身份运行同一问题 |
Agentic RAG 何时有价值
当问题需要拆成子问题、根据已有证据决定下一次检索,才值得增加动态检索循环。给循环设置查询次数、时限和停止条件;证据仍不足时返回缺口。单次检索已经能完成的任务,先保留简单方案作为质量与成本基线。