DeepSeek发布"开源周"首个成果 优化GPU效率 让大模型跑得更快

DeepSeek发布"开源周"首个成果 优化GPU效率 让大模型跑得更快

引用

网易

1.

https://www.163.com/dy/article/JP86DG6C0514EGPO.html

国产大模型DeepSeek于2月24日发布"开源周"首个成果，该成果可显著优化英伟达图像处理器（GPU）的效率，使大模型运行得更快。DeepSeek表示，此后还将开源另外4个代码库。

当前，人工智能（AI）技术快速发展，高性能GPU已成为推动AI模型训练的重要驱动力。其中，英伟达GPU因强大的计算能力和先进的架构设计而受到广泛关注。

DeepSeek开源的代码库FlashMLA，就是针对英伟达GPU的优化，它能让大语言模型在GPU上运行得更快、更高效。尤其是在高性能AI任务中，这一代码能够加速大语言模型的解码过程，从而提高模型的响应速度和吞吐量，这对于实时生成任务，比如聊天机器人、文本生成等尤为重要。

有科技公司表示，这一方案能在不损失模型性能的前提下，将缓存体积压缩至原来的四分之一，从而大幅降低显存需求，加速AI普惠，促进诞生更多的创新应用。

FlashMLA还只是开始，DeepSeek于2月21日宣布，从本周开始，会陆续开源5个代码库，以完全透明的方式，与全球开发者社区分享他们的研究进展。

随着国内AI产业的爆发，阿里巴巴集团也宣布，未来三年将投入超过3800亿元，用于建设云和AI硬件基础设施，总额超过去十年总和。这也将创下中国民营企业在云和AI硬件基础设施建设领域有史以来最大规模投资纪录。

目前，阿里云是亚洲第一的云计算公司，阿里巴巴通义千问大模型已成为全球顶尖的开源模型。

本文原文来自网易新闻