北大AI团队推出Align Anything：智能系统全模态对齐新突破！

北大AI团队推出Align Anything：智能系统全模态对齐新突破！

引用

36氪

等

9

来源

1.

https://36kr.com/p/3154536234670856

2.

https://finance.sina.com.cn/tech/roll/2024-10-17/doc-incswauc2790111.shtml

3.

https://m.blog.csdn.net/m0_59235699

4.

https://blog.csdn.net/m0_59163425/article/details/145122775

5.

https://finance.sina.com.cn/tech/roll/2025-02-07/doc-ineirmwm0212668.shtml

6.

https://blog.csdn.net/c9yv2cf9i06k2a9e/article/details/145271962

7.

https://www.jiqizhixin.com/articles/2024-10-17-8

8.

https://ai-bot.cn/emova/

9.

https://www.528btc.com/kx/115876561.html

近日，由北京大学人工智能研究院、华为诺亚方舟实验室等机构联合发布的“Align Anything”框架引起了广泛关注。这一创新性的全模态对齐框架通过语言反馈显著提升了多模态大模型的指令遵循能力。该框架不仅解决了现有数据集在模态覆盖上的局限性，还通过创新算法和评估方法为全模态对齐提供了一套完整的解决方案。所有数据、模型和代码均已开源，为全模态对齐研究提供了重要资源和指导。这一突破将极大推动智能系统的发展，让其更好地理解和执行人类意图。

在当前AI领域的快速发展中，“强推理慢思考”已经成为主要的发展动向之一，它们深刻影响着研发方向和投资决策。如何将强推理慢思考进一步推广到更多模态甚至是全模态场景，并且确保和人类的价值意图相一致，已成为一个极具前瞻性且至关重要的挑战。

Align Anything框架的核心优势在于其全模态支持能力。它能够处理文本、图像、音频、视频等多种模态的输入和输出对齐，这在目前开源社区中是独一无二的。框架实现了包括SFT、DPO、PPO、SimPO等超过6种对齐算法，支持从文本到文本、文本加图像到文本、文本到图像、文本到音频、文本到视频等多种模态的微调。研究者可以轻易地在任意至任意的模态上扩展新的对齐算法。

全模态对齐技术在多个领域展现出广阔的应用前景。例如，在医疗诊断中，模型能将CT影像的灰度特征与病理报告的专业术语建立语义关联，实现更精准的诊断。在教育领域，模型能够准确解析图文数学问题，提供详细的解题步骤，为学生学习提供有力支持。

为了促进全模态对齐研究，北大团队开源了Align Anything框架及相关资源：

• 数据：200k包含人类语言反馈和二元偏好的数据集，包含图、文、视频、语音全模态。
• 算法：从语言反馈中学习的合成数据范式，大幅提升RLHF后训练方法的表现。
• 评估：面向全模态模型的模态联动与模态选择评估。
• 代码库：支持图、文、视频、语音全模态训练与评估的代码框架

这一开源举措为研究者提供了完整的实验和开发平台，有助于加速全模态AI系统的研发进程。

业内专家普遍认为，Align Anything框架的推出标志着AI对齐研究进入了一个新阶段。它不仅解决了多模态对齐的技术难题，更为构建真正通用的AI系统奠定了重要基础。随着更多研究者和开发者加入这一领域，我们有望看到更多基于Align Anything的创新应用涌现，推动AI技术向更安全、更可靠的方向发展。

这一突破性成果的发布，不仅展示了中国在AI基础研究领域的实力，更为全球AI社区提供了一个重要的开源工具。随着全模态对齐技术的不断发展，我们有理由相信，未来的AI系统将能够更好地理解和执行人类意图，为各行各业带来更深远的影响。