跳到主要内容

企业 AI 交付手册

一次交付从观察客户的现有流程开始。先拿到可以复核的基线,明确业务负责人、验收口径和异常处理,再进入原型和集成。这里的清单可按项目规模缩减。 OpenAI FDE 交付流程

需求访谈要问什么​

问题要留下的证据
谁在什么时点处理一笔任务?业务角色、输入来源、实际操作路径
哪一步最耗时或最容易错?正常与异常工单的样本、现有耗时或错误记录
哪些例外依赖资深人员判断?无法仅凭现有数据自动判断的条件
数据在哪里,由谁批准访问?系统接口、授权范围、客户负责人
怎么证明新流程有用?基线、目标、评测样本及验收人
模型不可用时工作怎么继续?人工入口、使用者提示、暂停负责人

例如,业务方说「分类不够准」。安排班组成员现场分流几笔工单,记录需要翻哪个系统、怎样区分同名服务、哪些分类还要下一班组确认。对有争议的标签请业务方先统一定义,否则评测会用互相冲突的尺子。

一页范围表​

业务流程与操作人:
当前流程和基线(数据范围、时间、定义):
这一期要交付的动作:
第一批试点用户:
输入、输出、权限范围:
异常如何转人工:
验收样本、指标、通过门槛:
客户负责人 / 技术负责人 / 验收人:
上线开关与回退条件:

与业务负责人确认一期能交付的链路。工单场景可以先支持本地知识库查询和分组建议,排除自动指派、自动关闭以及跨团队数据访问,再按试点结果决定下一期范围。

原型、试点和生产分别看什么​

阶段关键动作进入下一阶段的依据
可行性验证(PoC)用获准的历史样本验证输入是否够用,输出是否可判断代表样本的失败原因有记录,业务方认可首期价值和边界
试点接入获准的接口,用影子模式或小范围账户验证真实流量与基线同口径比较,评估权限、超时和实际采用情况
生产保持人工入口,配置监控、告警、升级和值班责任回退演练通过,风险情况有明确处置路径,客户能够接手

影子模式可以旁路读取允许处理的真实任务,记录建议供复盘,不影响原流程。小范围试点则让受邀用户看到建议并决定是否采用。两者回答的问题不同:前者观察模型表现,后者还观察工作流中的用户行为。

验收前把口径写清楚​

  • 业务指标:按业务口径比较单笔处理耗时、一次分流准确率或返工量,注明起止时间、分母、异常单如何统计。
  • 模型指标:固定样本、预期行为和判分规则,记录模型、提示词和知识版本。样本按输入类型、长尾与权限边界分层。
  • 运行指标:跟踪 P95 延迟、上游错误、转人工、单笔开销。能从请求 ID 找到适当脱敏的执行记录。
  • 安全硬门槛:权限隔离、敏感数据处理与写入校验单独评估。把失败样本写进回归集,保留人工复核。 Anthropic Agent 评测方法

上线后谁接手​

交接至少要说明依赖、部署和回退步骤、告警接收人、知识更新流程和权限变更入口。把日常运营演练给客户负责人做一遍,例如模拟模型超时,关闭建议开关,再确认原工单流程可以继续。上线后收集失败样本和采用数据。共性问题形成模板、连接器或产品反馈,客户特有规则留在配置和客户边界内。

继续阅读 工单分流案例 与 评测与可观测性。