大模型应用:调用、输出与适配
使用大模型做应用,需要把生成能力放进一个有输入边界、输出校验和失败处理的系统中。模型大小只是一个变量,工具选择、上下文组织和应用验收往往同样影响最终结果。
把一次请求拆开看
应用通常需要保留模型标识、提示版本、生成配置、耗时和调用状态。对输出有可重复格式要求时,先判断服务是否支持相应 Schema,再确定校验与降级方法。
文本、JSON 与业务正确性
| 层次 | 能解决什么 | 仍需检查什么 |
|---|---|---|
| 自由文本 | 面向人的自然语言表达 | 事实、遗漏、格式稳定性 |
| JSON 语法约束 | 结果可按 JSON 解析 | 字段、类型与约束是否符合需求 |
| Schema 约束 | 结果符合指定结构 | 来源真实性、数值关系与权限 |
| 业务验收 | 检查领域约束 | 验收规则本身是否完整 |
例如一个结果包含 start_time 和 end_time,两者都是字符串不代表时间顺序合理。引用 ID 符合格式,也不代表引用存在或支持当前结论。OpenAI 结构化输出
Prompt、RAG 与微调如何选择
| 观察到的问题 | 优先排查 | 何时再考虑训练 |
|---|---|---|
| 没理解任务或输出要求 | 提示、示例和验收条件 | 清晰提示仍不能稳定学习重复模式 |
| 不知道最新或私有知识 | 检索、权限、文档质量 | 不用微调承担实时知识更新 |
| 工具名选错、参数不稳定 | 工具描述、候选集、轨迹样本 | 有足够高质量标注与独立测试集 |
| 输出风格长期不一致 | 规范、少量示例、结构约束 | 行为稳定且数据充足,可评估适配收益 |
LoRA 通过可训练的低秩适配参数减少微调所需的训练参数;它仍需要合适数据、训练资源与效果验证,不能消除数据质量问题。LoRA 原论文 · PEFT 官方说明
用自己的任务比较模型
准备一组覆盖正常、边界、工具失败和无法回答的样本。固定输入与提示版本,记录任务通过率、工具参数有效率、P50/P95 延迟、调用成本以及拒答是否合适。
不要用同一批样本一边修改方案、一边声称获得独立测试成绩。保留一份不参与调优的测试集;比较时说明模型服务、上下文长度和并发条件。
多模态输入的额外检查
截图、扫描件与图表需要考虑分辨率、文字可读性、页面顺序和区域定位。应用应保留“结论对应哪一页、哪一区域”的证据;图像里的文字也可能包含与任务无关的指令,不能因此扩大工具权限。
继续阅读:提示词与上下文 · Function Calling · 模型部署