刘知远详解DeepSeek出圈背后的逻辑:自身算法的创新以及OpenAI的傲慢
刘知远详解DeepSeek出圈背后的逻辑:自身算法的创新以及OpenAI的傲慢
DeepSeek R1的开源,让全球的人能够意识到深度思考的能力。这相当于让整个人工智能领域再次迎来了类似于2023年初ChatGPT的时刻,让每个人感受到大模型的能力又往前迈进了一大步。但同时,我们也需要合理地评估DeepSeek本身的重要意义。
2025年2月6日,清华大学长聘副教授刘知远在由中国计算机学会青年计算机科技论坛(CCF YOCSEF)策划的直播活动中,详细解析了DeepSeek出圈背后的逻辑。他认为,DeepSeek的成功不仅展示了算法的创新,还揭示了OpenAI在策略上的失误。
DeepSeek R1的技术原理与贡献
DeepSeek R1的主要价值在于其能够完美复现OpenAI o1的深度推理能力。值得注意的是,OpenAI o1并未公开其技术细节,而DeepSeek通过开源和详细的技术介绍,为行业做出了重要贡献。
DeepSeek R1的训练流程有两个重要亮点:
基于规则的大规模强化学习:DeepSeek R1基于DeepSeek V3基座模型,通过大规模强化学习技术,得到了一个纯粹通过强化学习增强的强推理模型(DeepSeek-R1-Zero)。这种基于规则的方法确保了强化学习可以规模化,并实现面向强化学习的扩展。
推理能力的跨任务泛化:DeepSeek R1不仅在数学、算法代码等容易提供奖励信号的领域表现出色,还能将强推理能力泛化到其他领域。这种泛化能力的实现分为两个阶段:首先生成带有深度推理能力的SFT数据,然后通过强化学习训练得到具有强大泛化能力的强推理模型。
DeepSeek R1的成功原因
DeepSeek R1能够取得全球性成功,与OpenAI的策略有直接关系。OpenAI在发布o1后选择了不开源、隐藏深度思考过程并采用高额收费的策略,这限制了o1在全球范围内的普及。而DeepSeek R1则通过开源复现,让全球用户能够真正感受到深度思考带来的震撼。
DeepSeek R1的意义还在于展示了在有限算力资源下,通过算法创新突破算力瓶颈的可能性。这对于中国AI发展具有重要启示:AI要真正赋能全人类,高效性是一个关键命题。
对AI未来发展的启示
从信息革命的历史经验来看,计算能力的普及是通过不断提高芯片密度实现的。同样,在AI领域,大模型的能力密度正以指数级增强。从2023年以来,大模型的能力密度大约每100天翻一倍。
面向未来,AI发展有三大主战场:
- 探索更科学、更高效的人工智能实现方式
- 实现计算系统的智能化,以更低的成本将大模型应用于各领域
- 在各领域探索人工智能的广谱化应用
DeepSeek的成功启示
DeepSeek的成功源于其技术理想主义和执行力。团队创始人梁文峰投入个人资金,没有资金困扰,专注于技术探索。DeepSeek通过持续积累,最终实现突破。这种“摸着OpenAI过河”的方式,展示了只要有理想和执行力,就能在AI领域取得突破。
问答环节
Q: DeepSeek最有亮点的技术是什么?
刘知远:DeepSeek V3展示了如何用1/10甚至更少的成本达到GPT-4和GPT-4o的水平。DeepSeek R1则通过开源和免费使用,公开所有技术细节,弥补了OpenAI的不足。
Q: 为什么DeepSeek R1在这个时间点出现?
刘知远:中国AI正在快速追赶美国,与最先进技术的差距正在缩小。DeepSeek不仅复现了o1的能力,还以极低成本实现,这是其脱颖而出的关键。
Q: 能力密度是如何定义的?
刘知远:能力密度是指模型在各种评测集上展现的能力与其参数规模的比值。研究表明,代表性模型的能力密度大约每100天增加一倍。
Q: MoE架构会是通向AGI的最优解吗?
刘知远:没有证据表明MoE是最优架构。未来实现高效性应该是模块化和稀疏激活的,但具体实现方式应该百花齐放。
Q: DeepSeek对AI发展有哪些启示?
刘知远:应支持更多具有技术理想主义的团队,鼓励长期主义和原始创新。同时,应学习DeepSeek的理想、坚持和方法论,而不是简单复制其技术选择。
本文原文来自澎湃新闻
直播截图
能力密度发展示意图