核心结论:幻觉高发往往源于检索与生成评估耦合,需通过“证据-结论”对齐校验实现解耦。
1. 构建中间态探针:在生成前记录检索文档的切片 ID,生成后要求模型输出引用来源。若引用文档中完全缺失关键事实,判定为检索失败;若存在但模型表述扭曲,判定为生成幻觉。
2. 引入 NLI 反向验证:将模型生成的关键断言作为假设,检索原文作为前提,使用自然语言推理模型判断一致性。一致性低则触发重检索或人工介入,高则保留,以此量化事实准确度。
3. 建立分阶段基准集:针对多跳推理场景,人工标注“黄金路径”(从问题到答案所需的完整证据链)。评估时比对实际召回文档覆盖黄金路径的比例,分离召回漏检率与推理错误率。
4. 实施对抗性提示注入:在测试集中混入包含矛盾信息的干扰文档,观察模型是否优先采信预训练知识而非上下文,以此专门度量模型对“无信息”指令的遵从性。
注意事项:评估体系必须包含“无法回答”的负样本,防止模型在证据不足时强行生成导致评估虚高。