一文搞懂微调技术和RAG技术区别

一文搞懂微调技术和RAG技术区别

引用

CSDN

1.

https://m.blog.csdn.net/musicml/article/details/136576532

在企业私有大模型的构建中，微调（Fine-tuning）和RAG（Retrieval Augmented Generation）是两种主要的技术手段。本文将从知识维度、效果维度和成本维度三个方面，深入分析这两种技术的区别，并探讨RAG技术的局限性。

为什么要做微调和RAG的对比？

通用大模型存在一定的幻觉问题，通过把企业私有的领域数据知识喂给通用大模型，从而降低了大模型的幻觉，这就是所谓的企业私有大模型。从技术层面来讲，实现企业私有大模型有两种主要技术手段：微调（Fine-tuning）和RAG（Retrieval Augmented Generation）检索增强生成。这种技术如何选型？很多同学很困惑，今天我们剖析它们的区别，使得同学们能够真正搞定这两种大模型增强技术的本质。

微调和RAG的区别

知识维度

• RAG 对知识的更新时间和经济成本更低。不需要训练，只需要更新数据库即可。
• RAG 对知识的掌控力会更强，相比微调更不用担心学不到或者是遗忘的问题。
• 如果大模型缺乏某个领域的知识，足量数据的微调才能让模型对该领域有基本的概念，如果不具备领域知识基础，RAG 仍旧无法正确回答。

效果维度

• RAG 相比微调能更容易获得更好的效果，突出的是稳定性、可解释性。
• 对任务模式比较简单的任务，微调能触碰到更高的上限，但是对训练、数据等方面的要求会更苛刻。
• 幻觉方面，RAG 从各种实测来看，短板基本都在检索模块，只要检索不出大问题，整体效果还是 RAG 比较有优势的。

成本维度

• 训练方面，RAG 的成本就是更新数据库，但是微调就需要大量的显卡、时间资源。
• 推理方面，考虑到 RAG 本身需要检索，而且检索层为了确保检索准确，还需要很多额外工作，所以推理的耗时会比微调多，但具体多多少，就要看检索模块的复杂程度了，如果这里面还需要额外调大模型，那成本就会多很多，如果只是小模型之类的，那这个增加可以说是忽略不计。微调后的大模型直接使用，和原本模型的耗时一致。
• 系统拓展角度。随着项目的发展，大模型训练不一定能支撑多任务，而拿着大模型训好几个，对部署而言并不方便。

通过上述的对比，我们看出，在企业具体的业务场景来看，RAG 技术的综合收益也高于微调技术。但是 RAG 也是不是万能的，RAG 也会存在以下的依赖问题。

RAG技术的局限性

• RAG 依赖知识库。如果不具备构造知识库的条件，那 RAG 无从谈起，比如：没有具体的业务数据，或者是机器不支持支撑检索之类的。
• 业务需求并非对知识依赖。比如：某些业务的话术生成，更多是对语言风格的约束，此时要么通过 Prompt 解决，要么就是构造业务数据来进行训练即可，根本没有构造 RAG 的必要。
• 依赖实时信息而非固有信息。比如：对话摘要是大模型具有的比较强的能力，这种任务更多是依赖收到的对话记录，而非一些固有存储好的内容，此时通过工程手段直接把信息获取导入到模型即可，不需要把对应内容入库了。如果对对话摘要的内容不满意，则应该是通过 Prompt 和微调来解决。当然有人可能会说通过 few-shot 的方式，可以用 RAG，这个当然是可以的，但就不是必须了。
• 指令不生效或者领域知识完全不具备。大模型此处是短板，那即使是 RAG，把答案摆在面前，也解决不了问题。
• 内容会受到检索结果局限。有些创造性的任务，本身是想通过大模型获取新的灵感，然而检索结果给到大模型后，大模型往往容易受到限制，这个限制在有些时候是好事，但并非所有时候。