← AI学习中心 / 结果核验与复用
怎样防止修复一个问题又引入另一个问题
文中企业场景、人物与业务数字为教学示例,不是客户成果记录。
直答
防回归的做法是:在动提示词或规则之前,先准备一组固定的测试输入和对应期望要点;每次修改之后把整组用例重跑一遍并留记录,而不是只试出问题的那一条。
业务场景(合成演示)
以下场景为合成演示。一家物流公司的运营小组用一份提示词模板把客户留言整理成工单草稿。此前为修复“漏记楼层号”改了一版,结果新版本开始截断收件人姓名,错误草稿积累了一批才被发现。负责人随后引入固定回归用例组。
具体做法
- 攒用例:把历史上出过问题的输入收集成固定用例组,每条配期望要点。
- 全量重跑:任何修改之后整组重跑,不允许只测新修的那一条。
- 留结果:每条用例记通过或不通过,并写差异摘要。
- 不通过即处置:回退上一版还是继续修,由业务负责人决定;AI不自行决定哪版投入使用。
- 扩充用例:每个新问题修完,把它对应的输入纳入用例组,作为回归的一部分。
示例表(合成演示)
| 用例编号 | 输入要点 | 期望要点 | 本轮结果 | 备注 |
|---|---|---|---|---|
| C-01 | 含楼层与门牌的留言 | 楼层、门牌分列记录 | 通过 | 原问题 |
| C-02 | 姓名含生僻字 | 姓名完整不截断 | 不通过 | 新引入,需再修 |
| C-03 | 一条留言包含两件事 | 拆成两条草稿 | 通过 | 常规用例 |
可复制空模板
回归测试记录
修改内容与模板版本号:
修改目的:
用例编号 | 输入要点 | 期望要点 | 结果 | 差异备注
(逐行填写,覆盖全部固定用例)
结论:全部通过 / 存在不通过
下一步:合入 / 回退 / 继续修改
决策人:
日期:
反例(合成演示)
此为合成演示情形。该小组更早的一次修改只补测了“楼层号”这一条输入,看到楼层号出现就换上新版。姓名截断的问题后来才暴露,需要逐条订正此前生成的草稿,返工范围比这次修改本身大得多。
常见问题
问:用例组越攒越多,重跑负担大怎么办? 答:可分两层,日常跑一组高频短用例,全量组按团队自定的节奏跑;本文不规定固定频率。
问:没有自动化工具,手工重跑可行吗? 答:可行,关键是做到“全量”和“留记录”两点;是否引入工具另作单独评估。
来源说明
本文方法受Google Workspace博客中把团队做法沉淀为参考文件并加以测试的思路启发(https://workspace.google.com/blog/product-announcements/teach-gemini-your-teams-know-hows-with-skills-in-google-workspace),该来源为规则模板参考文件与测试思路的介绍,不代表相关功能在国内可用;文中用例表、场景与模板均为原创编辑设计,本文不声称与来源方存在合作或已实现的效果。
结尾讨论
你上一次修改提示词时,重跑过多少条历史用例?
