UAT Copilot：
让 AI 的结论带着证据
做采购平台时，我和团队一起处理了 300 多项 UAT 问题，查状态、汇总风险、写周报大多靠人工翻表。我把这个场景做成了一个 AI 产品实验。重点不是聊天，而是让 AI 的每个结论都能核对，也能被人否决。
- 时间
- 2026
- 性质
- 个人 AI 产品实验
- 数据
- 脱敏模拟数据
- 实现
- 借助 AI 编程工具搭建并部署
直接接一个聊天机器人，会出什么问题
把问题台账直接丢给大模型，看起来能回答问题，但在项目验收这种场景里，有三个风险：
- 答案无法核对：说“有 3 个阻塞问题”，却不知道是哪 3 个；
- 可能越权：不同角色能看的问题范围不同；
- 可能替人做决定：自动改状态、自动发通知，出错代价很高。
所以我定了四条原则
- 先确定性，再 AI：先把规则查询和引用做好，再让模型理解自然语言；
- 结论必带证据：每条结论都关联问题编号和台账中的来源行；
- 事实来自台账，模型只负责措辞；
- 高风险动作由人确认：提醒只生成草稿，不自动发送。
试一试
演示数据，不连接真实模型
选一个问题，点红色编号看证据，或模拟模型超时（演示）
当前身份：项目经理
判断：失败也是体验的一部分。模型超时或输出没通过验真时，回退到规则查询结果，并明确告诉用户：这次的回答没有经过模型。
一步步做出来
每个阶段都保留 Demo 与测试记录
- 1规则基线
先做结构化问题台账、确定性筛选和来源引用：12 条脱敏问题，3 类规则查询，桌面与手机都能用。
- 2意图协议
用 JSON Schema 把自然语言转成受控的查询意图，建了 24 条回归测试，专门覆盖歧义和越权提问。
- 3接入真实模型
通过服务端接口接入大模型，沿用同一套测试，对比准确率、Token 和响应时间，24 条全部匹配；设计了超时、限流和规则降级。
- 4引用与确认
加入证据编号与来源定位、三类角色的权限矩阵、确认与驳回，以及模拟审计；全程不写入台账。
- 5风险周报与提醒
周报走受控生成流程；提醒限定三类白名单，模型只写措辞，另有 8 项安全回归测试，提醒只生成草稿、不发送。
周报的四道关
受控生成
周报是最容易“编”的地方，所以拆成四步。任何一步没通过，就退回到规则生成的版本。
- 固定快照先锁定本周台账的数据快照，模型只能读这一份。
- 模型措辞模型只负责把结构化事实写成通顺的周报。
- 指标与引用验真检查数字和问题编号是否与快照一致，不一致就判定失败。
- 人工复核项目经理确认后才能发出，可以修改或驳回。
我从中学到的
设计 AI 产品时，界面至少要回答用户三个问题：这个结论从哪来？我能不能不同意？出错时会怎样？这三个问题答好了，AI 才能进入真实的工作流程，而不只是一个演示。
这是个人实验，使用模拟数据。开发借助了 AI 编程工具；产品定义、交互方案、测试集和验收标准由我设计。完整的阶段记录可以在面试时演示。