实战路线:把知识变成可检查的实验
下面四个实验从确定性检查逐步走向真实模型调用。每个实验都有输入、运行方法和验收标准,先跑通一条完整链路,再增加依赖。
实验地图
01 · 写一个有边界的 Skill
按 Skills 最小示例 编写自己的文档摘要技能。准备一个正常样本、一个缺少原文的样本和一个不应触发的写作请求。
验收:能够选择正确方法;摘要的数字、条件和来源可以回到原文核对;不匹配的任务不会强行套模板。
02 · 写一个只读 MCP Server
按 MCP Server 实验 暴露一个查找本地教学笔记的工具与一个资源。使用 SDK 客户端列出能力并执行调用,检查未知 ID 和空查询。
验收:协议连接正常、返回结构稳定、普通日志不污染 stdio、客户端能读取资源。这个实验只验证工具连接,不代表已经接入模型。
03 · 让本地模型决定调用工具
按 Agent 循环实验 实现工具调用流程。用支持工具调用的本地模型观察工具名、程序执行结果和最终回答,再测试一个资料中不存在的问题。
验收:程序限制可执行工具与参数,工具结果被正确回传,未知问题没有编造教学资料来源,达到预算后明确终止。
04 · 建立检索评测基线
用 离线检索评测 的示例数据比较 Recall@K 与 MRR。把一个相关结果从第一名移到第三名,观察两个指标怎样变化。
验收:重复运行得到一致结果;重复命中不重复计分;能够说明“没召回”和“排序靠后”的差别。之后再接自己的向量库,保持相同的评测格式。
实验记录模板
任务与输入:
模型 / SDK / 服务版本:
提示与数据版本:
成功条件:
实际结果与产物:
失败样本和原因:
耗时、调用量与运行条件:
下一次只改变的因素:
实验样本适合学习链路。准备上线时,需要替换为真实业务数据与权限逻辑,并加入取消、重试、恢复和回归检查。项目面试可以借用这个记录结构,陈述真实完成的工作。