DeepSeek R1方法成功迁移到视觉领域，多模态AI迎来新突破

DeepSeek R1方法成功迁移到视觉领域，多模态AI迎来新突破

引用

新浪网

1.

https://finance.sina.com.cn/tech/roll/2025-02-20/doc-inemchxm9239283.shtml

近日，DeepSeek团队在多模态AI领域取得重要突破，成功将R1方法从纯文本领域迁移到视觉语言模型领域。这一突破性成果不仅展示了R1方法的通用性，更为多模态模型的训练提供了新的思路。

VLM-R1项目概述

VLM-R1项目基于DeepSeek去年开源的R1方法，通过生成性奖励处理优化（GRPO）强化学习方法，在视觉语言模型领域取得了显著成果。研究团队在Qwen2.5-VL的基础上，对比了R1方法和传统的SFT方法，结果显示R1方法在稳定性、泛化能力等方面具有明显优势。

研究成果

稳定性与泛化能力

实验结果显示，R1方法在各种复杂场景下都能保持稳定的高性能。更令人印象深刻的是，在领域外测试数据上的表现：随着训练步数的增加，传统SFT模型的性能开始下滑，而R1模型的性能却能持续提升。这表明R1方法帮助模型真正"学会"了理解视觉内容，而非简单记忆。

实际应用案例

在实际应用中，VLM-R1展现出了强大的视觉理解、知识推理和文本表达能力。例如，在一张展示丰盛美食的图片中，模型不仅能准确识别出蛋白质含量最高的食物，还能在图片中精准框选出该食物。

针对图片中的问题："在图片中找出蛋白质含量最高的食物"，模型回答道：
"图片中展示了桌上的各种菜品，包括蔬菜、面饼和点心。从蛋白质含量来看，面饼或面点可能含量最高，因为它们通常由全谷物制成，面粉中含有蛋白质。虽然蔬菜也含有蛋白质，但比起这些主食来说含量较少。"

技术创新与开源贡献

VLM-R1项目的成功为多模态AI领域带来了新的研究方向：

1. 证明了R1方法的通用性，不仅在文本领域有效，在视觉语言领域同样表现出色；
2. 为多模态模型的训练提供了新的思路；
3. 或许能够引领一种全新的视觉语言模型训练潮流。

项目完全开源，项目地址：VLM-R1。这一开放策略将有助于推动整个AI社区的发展，鼓励更多开发者参与其中，共同推动多模态AI技术的进步。