AI评测集失败案例
AI 命理系统里最隐蔽的风险之一，是评测看起来不错，真实使用却频繁失手。很多时候不是模型完全没能力，而是评测集本身把系统保护得太好，导致真正困难的问题从来没有进入测试范围。
这页专门用反面案例训练评测集设计为什么会失败，以及这些失败会怎样误导团队判断系统成熟度。
一、评测集失败最常见的三种来源
- 题目太容易，无法逼出系统弱点
- 只测内容，不测流程和边界动作
- 数据分布和真实使用场景严重脱节
二、案例一：规则题很多，解释题很少，结果高分掩盖真实短板
表面现象
系统在排盘、识别、定位类题目上得分很高，整体评测看起来稳定。
真正问题
真实用户最常遇到的是解释型和决策型问题，而不是纯规则题。如果评测集过度偏向可自动判分的规则题，就会把系统真正最弱的环节藏起来。
学习重点
规则题是底盘，不是整套评测的主体。
三、案例二：只测回答内容，不测是否正确触发升级机制
表面现象
系统在高风险问题上给出了“比较稳”的文字回答，因此评估被判为合格。
真正问题
高风险题真正应该测试的，不只是内容写得多稳，而是系统有没有要求补充信息、有没有触发人工复核、有没有明确转向现实专业系统。
学习重点
流程动作也应纳入评测，不然只能测到语言外观。
四、案例三：训练集和评测集风格过于接近，导致分数虚高
表面现象
模型在评测集上表现很好，稳定输出高质量回答。
真正问题
如果评测集题型、措辞、结构过于接近模型已看过的数据，系统可能只是学会了套路，而不是学会了真正泛化。
学习重点
评测集必须故意覆盖陌生表达、模糊问题和边界场景。
五、案例四：没有失败案例集，系统对反常场景完全裸奔
表面现象
团队评测里几乎都是标准题和常规题，系统表现良好。
真正问题
没有失败案例集，就无法检验系统在信息不足、知识冲突、提示污染和高风险输入下是否仍然稳定。
学习重点
成熟评测一定要把“故意让系统出错”的题单独设计出来。
六、案例五：分数按单题平均，结果边界失误被整体分数稀释
表面现象
系统总分不错，看起来已达上线标准。
真正问题
如果边界题、高风险题只占少量权重，就算这些题全错，也可能被大量简单题的高分掩盖。
学习重点
高风险失误不应按普通题权重处理，必须单独设门槛。
七、怎样用这些反例训练自己
- 检查评测集是否覆盖规则、解释、边界和高风险四层
- 检查有没有独立的失败案例集
- 检查是否把升级、转介、复核等流程动作纳入评估
- 检查高风险题是否设置了单独红线，而不是只看总分