FuseLLM：一键融合多个AI大模型的创新技术
FuseLLM：一键融合多个AI大模型的创新技术
随着AI技术的飞速发展，大语言模型如LLaMA和Mistral等已成为行业内的热门话题。然而，创建全新的大语言模型不仅成本高昂，而且可能导致新旧模型之间的能力冗余。为了解决这一问题，中山大学和腾讯AI Lab的研究者们带来了一个创新性的解决方案——FuseLLM。
FuseLLM：融合多个异构大模型的创新方案
FuseLLM的独特之处在于它能够“融合多个异构大模型”。这不同于传统的模型集成，后者在推理时需要同时运行多个大模型，也不同于权重合并，后者要求合并的模型具有相同结构。FuseLLM能够巧妙地提取不同大模型的知识和能力，然后通过轻量级的持续训练，将这些知识和能力融合到一个全新的大语言模型中。
实现上，FuseLLM先对齐不同LLM的标记化，再融合它们生成的概率分布。在持续训练过程中，FuseLLM着重减小目标LLM与源LLM之间的概率分布差异。这样，目标LLM就能逐渐吸收源LLM的知识和能力。
为了验证FuseLLM的有效性，研究者们在多个开源LLM上进行了实验，包括Llama-2、OpenLLaMA和MPT等。结果显示，在推理、常识和代码生成等42个任务中，FuseLLM训练的目标模型在大多数任务上都优于源LLM和基线模型。
此外，研究者们还模拟了具有相同架构但功能不同的LLM。通过在这些领域特定的语料库上持续训练单个基础模型，他们发现FuseLLM在结合这些结构相同的LLM的能力方面表现出色，优于传统的集成和权重合并方法。
Huggingface Models 上发布了 FuseLLM-7B ，它是三个流行的开源 LLMs 的融合，它们具有独特的架构和功能：Llama-2-7B、OpenLLaMA-7B 和 MPT-7B。
FuseLLM-7B 模型地址：https://huggingface.co/bartowski/FuseLLM-7B-exl2