香港大学发布新型线性扩散模型LiT，突破端侧AI应用瓶颈

香港大学发布新型线性扩散模型LiT，突破端侧AI应用瓶颈

引用

36氪

等

10

来源

1.

https://36kr.com/p/2755222032497416

2.

https://towardsdatascience.com/linear-attention-is-all-you-need-5fa9c845c1b5/

3.

https://paperreading.club/page?id=265893

4.

https://www.vcom.com.hk/shows/169/472.html

5.

http://paperreading.club/category?cate=LLM

6.

https://arxiv.org/abs/2411.07635

7.

https://arxiv.org/abs/2411.01537

8.

https://prime.org.cn/2024/02/15/An-Introduction-to-Diffusion-Models/

9.

https://hub.baai.ac.cn/paper/73e3f673-6ee3-4d46-ac4b-58580798aca2

10.

https://www.cnblogs.com/apachecn/p/18273113

香港大学研究团队联合上海人工智能实验室及华为诺亚方舟实验室，提出了一种新型线性扩散模型LiT（Linearized Diffusion Transformer）。该模型通过极简线性注意力机制，不仅显著提升了训练效率，还能在端侧设备上实现离线部署，为AIPC（AI on Personal Computer）时代的到来提供了新的技术支撑。

传统的自注意力机制由于计算复杂度较高，限制了其在高分辨率图像生成和端侧设备部署中的应用。LiT模型的核心创新在于极简线性注意力机制，这使得模型在保持高性能的同时，大幅降低了计算复杂度。

线性注意力机制的核心优势在于将计算复杂度从二次降低到线性，使得模型在处理长序列时更加高效。这通过特征映射（如ELU）来实现，可以近似传统注意力机制中的softmax操作。

在标准ImageNet基准测试中，LiT展现出卓越的性能：

• 在ImageNet 256×256基准上，仅需DiT 20%的训练迭代次数即可达到相当的FID（Frechet Inception Distance）指标。
• 在ImageNet 512×512基准上，仅需DiT 23%的训练迭代次数即可实现相当的FID指标。

更值得关注的是，LiT-0.6B模型已经能够在Windows笔记本电脑上实现离线部署，断网状态下遵循用户指令快速生成1K分辨率的逼真图片，这为AIPC时代的到来提供了新的技术支撑。

LiT的研究成果不仅展示了线性注意力在扩散模型中的巨大潜力，更为AI技术的端侧部署和商业化应用开辟了新的路径。随着技术的进一步优化，我们有望看到更多高性能、低功耗的AI应用在个人设备上实现，为用户带来更加便捷、智能的使用体验。