MIT提出L-Mul算法：最高降低大模型能耗95%，兼具低能耗和高性能

MIT提出L-Mul算法：最高降低大模型能耗95%，兼具低能耗和高性能

引用

腾讯

1.

https://new.qq.com/rain/a/20241017A05MAU00

麻省理工学院研究团队提出了一种名为线性复杂度乘法（L-Mul）的算法，该算法通过整数加法运算来逼近浮点数乘法，能够在不显著影响性能的情况下，将大模型的能耗最高降低95%。这一突破性进展为AI芯片设计和数据中心能耗优化带来了新的可能性。

L-Mul算法的核心原理

L-Mul算法的最大特点是用整数加法运算来逼近浮点数乘法，通过改变数值计算的方式让大模型的计算精度大幅度降低。这种"偷懒式计算"可以大幅减少模型的运算量，最高可降低95%能耗。

在浮点数运算中，每个数通常表示为符号位、指数和尾数。乘法操作通常需要对这些组成部分进行相应的运算，包括指数相加和尾数相乘、可能的规格化和舍入步骤。而L-Mul通过省略尾数乘法，仅使用整数加法和一些简单的位移操作来实现相同的计算效果，从而显著降低了计算复杂度和能源消耗。

实验验证：L-Mul在多种任务上表现优异

为了验证L-Mul算法的精确性，并探究基于L-Mul的大型模型在实际任务中的效果，研究人员在各种基准测试中对不同的模型进行了实验。实验结果表明：

• 在自然语言推理任务中，基于L-Mul的注意力机制的性能损失约0.07%，涵盖了常识、结构化推理和语言理解。
• 在视觉任务中，基于L-Mul的注意力在视觉问题回答、对象幻觉和自由形式视觉指令任务上提高了0.12%的准确率。
• 这些实验结果通过直接切换预训练大模型的标准注意力到基于L-Mul的新机制获得，无需额外训练。
• 误差估计和消融研究表明，在无需训练的情况下，4位尾数的L-Mul可以实现与float8 e4m3乘法相当的精度，而3位尾数的L-Mul超过了float8 e5m2乘法。

潜在应用价值

L-Mul算法的潜在商业价值在于：

• 对于数据中心而言，显著的能耗减少可以让数据中心在相同的能耗下支持更大算力。
• L-Mul可用于具身智能和边缘计算等需要AI芯片的场景，比如应用到机器人、笔记本电脑和手机中。
• L-Mul为简化设计芯片带来新的思路。它通过移除浮点数乘法器，让芯片的设计和制造更加简单，帮助芯片制造厂商提高芯片产品的质量和功耗稳定性。

未来展望

尽管目前由于缺乏对应的硬件指令，现有硬件暂不支持浮点数直接进行L-Mul运算。但是，只需在硬件层面增加一个新的简单指令就可实现L-Mul算法，从而获得显著的能效提升。研究团队计划在FPGA平台上进行仿真研究，对数值计算变化后能耗的具体降低程度进行确认，以提供准确的数据支持。

这项研究有望为AI行业带来重大变革，通过提高模型训练效率、减少数值不稳定带来的训练困难，从而提升模型量化、模型剪枝等领域的算法效率和存储空间利用率。