从《红楼梦》的视角看大模型知识库 RAG 服务的 Rerank 调优

从《红楼梦》的视角看大模型知识库 RAG 服务的 Rerank 调优

引用

CSDN

1.

https://blog.csdn.net/hustyichi/article/details/139194013

在自然语言处理领域，RAG（Retrieval-Augmented Generation）服务中的Rerank机制正逐渐成为提升模型效果的关键环节。本文通过《红楼梦》知识库的实践案例，深入探讨了为什么RAG服务需要Rerank机制，以及如何选择最合适的Rerank模型。

什么是Rerank？

在有道QAnything的架构中，Rerank被称作2nd Retrieval，主要作用是对向量检索的内容进行重新排序，将更精准的文章排在前面。通过向大模型提供更精准的文档，从而提升RAG的效果。

为什么需要Rerank？

Embedding检索时会获得问题与文本之间的相似分，但向量检索的相似分不够准确，因为文本压缩为向量必然会损失信息。而Rerank阶段不会向量化，而是将查询与匹配的单个文档1对1计算相似分，没有向量化带来的信息损失，能获得更好的效果。

Rerank模型的选择

目前开源的Rerank模型选择不如Embedding模型那么多，主要有智源提供的BGE系列、有道提供的BCE模型等。经过综合评估，bge-reranker-v2-m3表现最佳，bge-reranker-large和bce-reranker-base_v1可以作为备选。

实践验证

作者基于《红楼梦》知识库进行了实践验证，通过对比不同Rerank模型的效果，发现bge-reranker-v2-m3模型表现最好。在有无Rerank机制的比较中，Rerank版本给出了更准确的信息，大模型的回答中也会包含更多细节，回答质量更高。

结论

Rerank机制通过额外的精细重排，给大模型提供了更精准的上下文，从而提升大模型知识库回答的质量。在实际应用中，建议根据自己的数据集和问题进行有针对性的测试，选择最适合的Rerank模型。