← AI学习中心 / 结果核验与复用
怎样测试规则更新后的旧样本
文中企业场景、人物与业务数字为教学示例，不是客户成果记录。
直答
规则改版后不要只看新任务，先锁定一批改动前的旧输入，用新规则逐份重跑，新旧输出并排对差异，逐条定性为改善或走样，再决定是否切换。
业务场景（合成演示）
一家物业管理公司把“费用催缴通知”的写作规则从v2升到v3，新增“必须写明缴费渠道”一条。上线后靠日常使用零散发现异常，直到有业主指出新旧通知措辞对不上，才回头全面检查，此时通知已发出数十份，逐份返工。
具体做法
- 升版前先锁定十份左右旧输入，覆盖常见与少见情形，原文存档为固定测试组。
- 用新版规则逐份重跑，新旧输出并排保存，文件名注明样本号与版本。
- 逐份记录差异：新增了什么、删掉了什么、语气与结构变化。
- 差异逐条定性：符合新规则意图的记“改善”，意外丢信息或变形的记“走样”，无变化记“中性”。
- 走样项回溯到具体条文，判断是条文表述含糊，还是与保留的老条款冲突。
- 以测试结论决定切换：全部改善或走样可解释可修复才启用新版，否则先修规则再测一轮。
示例表（合成演示）
| 样本号 | 差异点 | 定性 | 归因 |
|---|---|---|---|
| S01 | 新增缴费渠道说明 | 改善 | 符合v3意图 |
| S02 | 原有的费用截止表述消失 | 走样 | 与新增条款位置冲突 |
| S03 | 无变化 | 中性 | — |
空模板（可复制）
| 样本号 | 差异点 | 定性（改善/走样/中性） | 归因 |
|---|---|---|---|
反例（合成演示）
某公司升版后只验证了当天的新任务便宣布切换。一周后有同事把旧格式的历史输入直接拿来用，输出漏掉了新旧版本都该有的金额表述位（合成演示，此处金额仅为字段名，不涉及任何数字结论）。若切换前用过含旧输入的固定测试组，这类问题在上线前就会被看到。
常见问题
问：旧样本去哪里找？ 答：从改版前的正式产出里挑，前提是当时保留了输入原文；只有产出没有输入的，不能当回测样本。 问：固定测试组要不要长期保留？ 答：建议保留并在每次改版时沿用，各版差异因此可比，还能看出规则演变的走向。
结尾讨论
你最近一次修改规则时，有没有一批旧输入能立刻拿出来重跑，还是只能靠新任务碰运气？
来源说明
参考Google Workspace官方博客把规则沉淀为模板文件并进行测试的思路（https://workspace.google.com/blog/product-announcements/teach-gemini-your-teams-know-hows-with-skills-in-google-workspace ，不推断国内可用，不声称合作）；旧样本回测法为编辑设计，未实测效果。