跳到主要内容

大模型应用:调用、输出与适配

使用大模型做应用,需要把生成能力放进一个有输入边界、输出校验和失败处理的系统中。模型大小只是一个变量,工具选择、上下文组织和应用验收往往同样影响最终结果。

把一次请求拆开看​

应用通常需要保留模型标识、提示版本、生成配置、耗时和调用状态。对输出有可重复格式要求时,先判断服务是否支持相应 Schema,再确定校验与降级方法。

文本、JSON 与业务正确性​

层次能解决什么仍需检查什么
自由文本面向人的自然语言表达事实、遗漏、格式稳定性
JSON 语法约束结果可按 JSON 解析字段、类型与约束是否符合需求
Schema 约束结果符合指定结构来源真实性、数值关系与权限
业务验收检查领域约束验收规则本身是否完整

例如一个结果包含 start_time 和 end_time,两者都是字符串不代表时间顺序合理。引用 ID 符合格式,也不代表引用存在或支持当前结论。OpenAI 结构化输出

Prompt、RAG 与微调如何选择​

观察到的问题优先排查何时再考虑训练
没理解任务或输出要求提示、示例和验收条件清晰提示仍不能稳定学习重复模式
不知道最新或私有知识检索、权限、文档质量不用微调承担实时知识更新
工具名选错、参数不稳定工具描述、候选集、轨迹样本有足够高质量标注与独立测试集
输出风格长期不一致规范、少量示例、结构约束行为稳定且数据充足,可评估适配收益

LoRA 通过可训练的低秩适配参数减少微调所需的训练参数;它仍需要合适数据、训练资源与效果验证,不能消除数据质量问题。LoRA 原论文 · PEFT 官方说明

用自己的任务比较模型​

准备一组覆盖正常、边界、工具失败和无法回答的样本。固定输入与提示版本,记录任务通过率、工具参数有效率、P50/P95 延迟、调用成本以及拒答是否合适。

不要用同一批样本一边修改方案、一边声称获得独立测试成绩。保留一份不参与调优的测试集;比较时说明模型服务、上下文长度和并发条件。

多模态输入的额外检查​

截图、扫描件与图表需要考虑分辨率、文字可读性、页面顺序和区域定位。应用应保留“结论对应哪一页、哪一区域”的证据;图像里的文字也可能包含与任务无关的指令,不能因此扩大工具权限。

继续阅读:提示词与上下文 · Function Calling · 模型部署