AI知识源污染案例
AI 命理系统一旦知识源分层失效,最典型的症状不是立刻完全答错,而是越答越像“什么都沾一点”,但没有一层真正稳定。古籍像现代建议,案例像通用规则,边界提示像普通解释,这种污染比简单缺知识更危险,因为它看起来仍然很像有知识。
这页专门用反面案例训练知识源污染为什么会发生,以及污染后系统会怎样失真。
一、知识源污染最常见的三种来源
- 原典、解释、案例和规则没有层级
- 检索时没有来源标记或权重区分
- 边界文档没有真正进入主流程
二、案例一:把古籍原文直接当现代建议输出
表面现象
系统回答中频繁引用原典,看起来很有依据。
真正问题
如果没有解释层过渡,古籍原文可能被直接包装成现代语境下的建议,导致历史语境和现实语境错位。
学习重点
原典适合做依据,不适合直接替代现代解释层。
三、案例二:把个案经验拼成通用规则
表面现象
模型引用了多个案例,回答显得很具体。
真正问题
案例层的作用是帮助映射现实问题,不是代替规则层。如果分层混掉,系统会把个案经验当成普遍规律。
学习重点
案例只能辅助理解,不应越权成为规则来源。
四、案例三:规则层和解释层混写,导致问答像程序日志
表面现象
系统回答看起来结构很严谨,但读起来很生硬,像把规则清单直接吐给用户。
真正问题
这通常意味着系统没有把规则层和解释层区分开,导致可计算规则直接污染了用户表达层。
学习重点
规则层应该支撑回答,不应直接替代回答。
五、案例四:边界文档存在,但召回顺序永远排在后面
表面现象
知识库里明明有风险提示、理性说明和升级条件,系统仍然经常说得过满。
真正问题
如果边界层在召回和拼装上下文时始终排得很后,系统就会优先拿规则和案例输出,边界提醒永远来不及。
学习重点
边界层不是附录,必须在高风险场景里有更高优先级。
六、案例五:新文档越加越多,系统口径反而越来越乱
表面现象
团队持续补文档,但系统回答前后不一致的情况反而增加。
真正问题
这往往不是“知识更多”本身的问题,而是新增内容没有按层级入库,导致不同性质文档在检索时互相污染。
学习重点
知识扩容必须伴随分层治理,否则只会增加混乱。
七、怎样用这些反例训练自己
- 检查知识源是否明确分成原典、解释、规则、案例、边界五层
- 检查检索结果是否带有来源标记和层级权重
- 检查高风险问题里边界层是否真正前置
- 检查新增文档是否按分层规范入库,而不是直接混入同一池子