← AI学习中心 / 结果核验与复用
怎样区分AI测试中的漏报与误报
文中企业场景、人物与业务数字为教学示例，不是客户成果记录。
直答
检查类AI任务的结果要分两个本子记：漏报是该拦的没拦——有错误，AI没报出来；误报是不该拦的被拦——内容没错，AI报成有问题。两者必须分开计数：漏报多说明判定要求太松，误报多说明规则太紧、例外没写清，改进方向相反。混在一个“错误总数”里，你永远不知道该往哪边调。
业务场景（合成演示）
一家机电产品出口商让AI核对英文规格书与中文原稿的数字一致性。第一轮AI报出3处问题，经查都是真问题，但对照预先标注的标准答案，另有2处错误没被报出。第二轮调整后AI报出8处，其中5处与标准答案吻合，另外3处其实是单位换算被当成了不一致。两个轮次的问题性质完全不同，要改的东西也不同。
具体做法
- 先有标准答案：测试材料（合成演示）预先标注共几处错误、各在何处；没有标准答案，就谈不上漏报。
- 逐条判定AI报出的问题：真问题计“报对”；标准答案里有而AI没报的计“漏报”；AI报了而实际无误的计“误报”。
- 校验自洽：报对数加漏报数应等于标准答案错误数，报对数加误报数应等于报出总数；对不上先查记录，再谈改进。
- 分开定改进动作：漏报多——收紧判定要求、补充易漏字段的异常样本；误报多——在规则里写明例外（如单位换算须同时给出原值与换算后值）。
- 分歧交业务负责人裁定，测试人不自行改口径，保证两轮之间口径一致、可以对比。
示例表（合成演示，数字已逐项复核自洽）
| 轮次 | 标准答案错误数 | 报出数 | 报对 | 漏报 | 误报 | 本轮动作 |
|---|---|---|---|---|---|---|
| 第一轮 | 5 | 3 | 3 | 2 | 0 | 补易漏字段样本，收紧要求 |
| 第二轮 | 5 | 8 | 5 | 0 | 3 | 规则补“单位换算须给原值”例外 |
可复制空模板
| 轮次 | 标准答案错误数 | 报出数 | 报对数 | 漏报数 | 误报数 | 改进动作 | 复核人 |
|---|---|---|---|---|---|---|---|
反例（合成演示）
某团队只看总数下结论：“这轮报了8个问题，比上轮3个多，AI更严了，是好事。”拆开看：误报从0涨到3，漏报其实已经清零——正确的读法是第二轮修好了漏报、新出了误报。总数上升被当成进步，于是继续收紧规则，正常文档也开始被反复打回。不分类计数，趋势会读反。
常见问题
问：漏报和误报哪个更危险？答：多数对外场景下，放行错误信息的代价高于多一次人工复核，所以常见顺序是先压漏报、再清误报；不同业务的权衡由业务负责人定，本文不给统一结论。
问：样本很少时，这两个数还有意义吗？答：小样本下只作“发现问题”用，不作比例外推——写“发现漏报2处、集中在某字段”，不写“漏报率40%”这类外推结论。
讨论问题
你上次验收AI检查结果时，报出的问题里有没有其实没问题的？当时看的是总数，还是分类数？
来源与边界说明
分类计数与按类调整的测试思路受 Google Workspace Skills 公开介绍启发（https://workspace.google.com/blog/product-announcements/teach-gemini-your-teams-know-hows-with-skills-in-google-workspace ，不推断相关功能在国内可用）；两轮数字为合成演示并已逐项复核自洽，未经实际运行验证，本文不声称与任何厂商存在合作或真实成果。