企业 AI 交付手册
一次交付从观察客户的现有流程开始。先拿到可以复核的基线,明确业务负责人、验收口径和异常处理,再进入原型和集成。这里的清单可按项目规模缩减。 OpenAI FDE 交付流程
需求访谈要问什么
| 问题 | 要留下的证据 |
|---|---|
| 谁在什么时点处理一笔任务? | 业务角色、输入来源、实际操作路径 |
| 哪一步最耗时或最容易错? | 正常与异常工单的样本、现有耗时或错误记录 |
| 哪些例外依赖资深人员判断? | 无法仅凭现有数据自动判断的条件 |
| 数据在哪里,由谁批准访问? | 系统接口、授权范围、客户负责人 |
| 怎么证明新流程有用? | 基线、目标、评测样本及验收人 |
| 模型不可用时工作怎么继续? | 人工入口、使用者提示、暂停负责人 |
例如,业务方说「分类不够准」。安排班组成员现场分流几笔工单,记录需要翻哪个系统、怎样区分同名服务、哪些分类还要下一班组确认。对有争议的标签请业务方先统一定义,否则评测会用互相冲突的尺子。
一页范围表
业务流程与操作人:
当前流程和基线(数据范围、时间、定义):
这一期要交付的动作:
第一批试点用户:
输入、输出、权限范围:
异常如何转人工:
验收样本、指标、通过门槛:
客户负责人 / 技术负责人 / 验收人:
上线开关与回退条件:
与业务负责人确认一期能交付的链路。工单场景可以先支持本地知识库查询和分组建议,排除自动指派、自动关闭以及跨团队数据访问,再按试点结果决定下一期范围。
原型、试点和生产分别看什么
| 阶段 | 关键动作 | 进入下一阶段的依据 |
|---|---|---|
| 可行性验证(PoC) | 用获准的历史样本验证输入是否够用,输出是否可判断 | 代表样本的失败原因有记录,业务方认可首期价值和边界 |
| 试点 | 接入获准的接口,用影子模式或小范围账户验证真实流量 | 与基线同口径比较,评估权限、超时和实际采用情况 |
| 生产 | 保持人工入口,配置监控、告警、升级和值班责任 | 回退演练通过,风险情况有明确处置路径,客户能够接手 |
影子模式可以旁路读取允许处理的真实任务,记录建议供复盘,不影响原流程。小范围试点则让受邀用户看到建议并决定是否采用。两者回答的问题不同:前者观察模型表现,后者还观察工作流中的用户行为。
验收前把口径写清楚
- 业务指标:按业务口径比较单笔处理耗时、一次分流准确率或返工量,注明起止时间、分母、异常单如何统计。
- 模型指标:固定样本、预期行为和判分规则,记录模型、提示词和知识版本。样本按输入类型、长尾与权限边界分层。
- 运行指标:跟踪 P95 延迟、上游错误、转人工、单笔开销。能从请求 ID 找到适当脱敏的执行记录。
- 安全硬门槛:权限隔离、敏感数据处理与写入校验单独评估。把失败样本写进回归集,保留人工复核。 Anthropic Agent 评测方法
上线后谁接手
交接至少要说明依赖、部署和回退步骤、告警接收人、知识更新流程和权限变更入口。把日常运营演练给客户负责人做一遍,例如模拟模型超时,关闭建议开关,再确认原工单流程可以继续。上线后收集失败样本和采用数据。共性问题形成模板、连接器或产品反馈,客户特有规则留在配置和客户边界内。