核心结论是:向量检索负责高召回,重排序负责高精度,级联策略需采用“粗召回+精排序+动态截断”三步法。
1. 向量检索阶段保留 Top-50 到 Top-100 候选集,确保召回率充足;使用 HNSW 或 IVF 索引加速向量检索,配合关键词检索(BM25)混合召回,取并集作为初筛池;
2. 引入轻量级重排序模型(如 BGE-Reranker 或 Jina-CrossEncoder),对初筛池执行 Cross-Encoder 打分,取 Top-5 至 Top-10 片段;该阶段推理延迟需控制在 200ms 以内,优先使用 INT8 量化部署;
3. 设置动态截断阈值——若 Top-1 分数低于 0.2 则返回空结果并触发“未找到”提示,避免强塞无关内容;若 Top-5 中有 3 个以上分数>0.45 则全量注入上下文;
4. 针对 Chunk 长度问题,建议采用滑动窗口分割(256-384 token,重叠 30-50%),配合后处理去重,保持语义完整性。注意事项:避免在重排序前额外调用 LLM 做中间筛选,改用规则或轻量模型,以降低整体推理成本与延迟。