核心结论:平衡点在于以“高召回率”自动化过滤保下限,以“分层随机抽检”人工复审定上限,预算最优解通常落在 5%~10% 的人工抽检比例。
1. 重构自动化过滤策略:针对正则误删行业术语的问题,先构建领域词典进行白名单保护,再使用轻量级分类器将准确率目标从 85% 提升至 95% 以上,宁可“误判为脏数据暂存”而非直接丢弃,通过多阶段漏斗减少人工介入量。
2. 设计分层抽检机制:不要全量随机抽,而是按“过滤置信度区间”分层——重点抽检处于阈值灰区(如分类器打分在 0.4~0.6 之间)的样本,这部分最容易出错,抽 15%~20%;对高分和极低分样本各抽 2%~3% 验证一致性。
3. 建立反馈闭环:将人工复审结果回灌为训练样本,定期校准分类器阈值,同时把被误删的术语补充进白名单,逐步降低人工依赖。初期按 10% 抽检率运行,待数据清洗规则稳定后可降至 5%,兼顾成本控制与质量。
注意事项:务必保留“审计轨迹”,记录每批数据的人工修改日志,便于追溯模型幻觉问题的数据来源。