荣登Nature！ 持续学习（Continue Learning）取得最新突破
荣登Nature！ 持续学习（Continue Learning）取得最新突破
持续学习（Continual Learning）是人工智能领域的一个重要研究方向，旨在使机器学习模型能够像人类一样，在不断学习新知识的同时，不会忘记之前学到的内容。近期，Nature杂志发表了一篇关于深度持续学习中塑性丧失问题的重要研究论文，提出了持续反向传播（Continual Backpropagation）这一创新算法，为解决持续学习中的关键问题提供了新的思路。
Nature最新研究：持续反向传播算法突破
Nature发表的论文《Loss of plasticity in deep continual learning》由Richard Sutton等研究人员完成。该研究首次系统展示了标准深度学习方法在持续学习设置中逐渐失去塑性，直到其学习效果不如浅层网络的现象。为解决这一问题，研究人员提出了一种新的算法——持续反向传播（Continual Backpropagation）。
该算法通过在每次迭代中随机重置一小部分较少使用的神经元来保持网络的塑性。这种方法通过不断引入多样性来维持网络的塑性和可变性，对于持续深度学习领域来说是一个重大突破。
持续学习领域的其他重要研究
除了Nature上的这篇重要论文外，持续学习领域还有其他值得关注的研究进展：
计算预算限制下的持续学习研究
Ameya Prabhu等人在论文《Computationally Budgeted Continual Learning: What Does Matter?》中，首次将计算预算作为持续学习研究的核心考量，更贴近实际应用场景。研究通过在两个大规模数据集上的实验，提供了对传统CL方法在计算受限环境下性能的全面分析，并发现简单的基于经验回放的方法（Naive）优于所有考虑的复杂CL方法。
视觉-语言模型的持续学习研究
Jiazuo Yu等人在CVPR上发表的论文《Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters》提出了一种参数效率的持续学习框架，通过专家混合（MoE）适配器动态扩展架构，增强了模型的适应性和效率。研究还开发了MoE框架中的增量激活-冻结策略，使专家能够同时获取任务内知识和进行任务间合作。
持续学习的全面综述
Liyuan Wang等人在论文《A Comprehensive Survey of Continual Learning: Theory, Method and Application》中，首次系统性地总结了持续学习的最新进展，包括理论、方法和应用。研究提供了全面的视角，促进了对持续学习领域的后续探索，并讨论了持续学习的当前趋势、跨方向前景和与神经科学的跨学科联系。
这些研究进展展示了持续学习领域在理论、方法和应用方面的最新突破，为解决人工智能模型在持续学习过程中的关键问题提供了新的思路和解决方案。