香港大学&华为联手研发新型线性扩散模型LiT，实现端侧离线部署突破

香港大学&华为联手研发新型线性扩散模型LiT，实现端侧离线部署突破

引用

一财网

等

13

来源

1.

https://www.yicai.com/news/102289902.html

2.

https://new.qq.com/rain/a/20250131A038TS00

3.

https://developer.nvidia.com/zh-cn/blog/rethinking-how-to-train-diffusion-models/

4.

https://www.163.com/dy/article/J6VVPPRI0550W16F.html

5.

https://app.xinhuanet.com/news/article.html?articleId=6bc004f4c73e58e5782f50d26088dc39

6.

https://www.sohu.com/a/780858055_121332524

7.

https://www.jiqizhixin.com/articles/2025-01-31-2

8.

https://www.vcom.com.hk/shows/169/472.html

9.

https://www.chinaventure.com.cn/news/78-20240617-381544.html

10.

https://zhouyifan.net/2024/09/03/20240809-flux1/

11.

https://m.aitntnews.com/newDetail.html?newId=10959

12.

https://www.design-reuse.com/industryexpertblogs/56591/ai-enabled-pc-aipc.html

13.

https://www.showapi.com/news/article/6708c21b4ddd79f11a70bf71

香港大学与华为诺亚方舟实验室联合研发的新型线性扩散模型LiT（Linearized Diffusion Transformer）在AI领域引发广泛关注。该模型通过创新的线性注意力机制，不仅显著提升了图像生成效率，更实现了在个人电脑上的端侧离线部署，为AIPC（AI on Personal Computer）时代的到来提供了新的技术支撑。

LiT模型的核心创新在于其独特的线性注意力机制。研究团队发现，通过简化线性注意力的设计，可以有效提升扩散模型的图像生成性能。这种设计具有两大优势：

1. 计算效率提升：线性注意力机制具有简洁性和高度并行化的特点，特别适合大型语言模型和扩散模型等计算密集型任务。

2. “免费午餐”效应：通过减少注意力头的数量，可以在不增加GPU延迟的情况下增加理论计算量，为模型提供更多计算资源。

此外，研究团队还提出了优化的训练策略，包括从预训练模型中继承权重（但不包括自注意力部分的权重）和采用混合知识蒸馏策略（同时蒸馏噪声预测结果和方差预测结果）。这些创新使得LiT模型在训练效率上实现了显著提升。

LiT模型最引人注目的是其在端侧设备上的离线部署能力。LiT-0.6B版本已经能够在Windows笔记本电脑上实现完全离线的图像生成，断网状态下也能快速生成1K分辨率的高清图片。

这一突破解决了传统AI模型在端侧部署时面临的多个挑战：

• 算力需求：通过优化的线性注意力机制，LiT模型大幅降低了计算复杂度，使其能够在普通笔记本电脑上运行。

• 网络依赖：完全离线的部署方式消除了对网络连接的依赖，提升了使用灵活性。

• 数据安全：本地处理数据的方式增强了用户隐私保护。

AIPC（AI on Personal Computer）是指将AI能力直接集成到个人电脑硬件中，提供更智能的交互体验。LiT模型的研究成果为AIPC时代的到来提供了新的技术支撑。

在标准ImageNet基准测试中，LiT模型展现出卓越的性能：

• 在ImageNet 256×256基准上，仅需DiT模型20%的训练迭代次数即可达到相当的FID（Frechet Inception Distance）指标。

• 在ImageNet 512×512基准上，仅需DiT模型23%的训练迭代次数即可实现相当的FID指标。

这些结果表明，LiT模型不仅在性能上媲美现有顶级模型，更在端侧部署能力上实现了突破。随着技术的进一步优化，我们有望看到更多高性能、低功耗的AI应用在个人设备上实现，为用户带来更加便捷、智能的使用体验。

LiT模型的突破性进展为其商业化应用开辟了新的路径。随着AI模型的端侧部署成为人工智能应用落地的关键，LiT模型的离线部署能力和高性能表现使其在多个领域具有广泛的应用前景：

• 消费电子：集成LiT模型的个人电脑和移动设备将为用户提供更智能的图像处理和创作能力。

• 无人机和机器人：离线AI能力的提升将增强设备的自主决策和环境适应能力。

• 物联网：低功耗、高性能的AI模型将推动智能家居等物联网应用的智能化升级。

香港大学计算机系博士王家豪表示，LiT模型的研究成果展示了线性注意力在扩散模型中的巨大潜力。随着技术的进一步优化，我们有望看到更多高性能、低功耗的AI应用在个人设备上实现，为用户带来更加便捷、智能的使用体验。