Transformer²要做「活」的AI模型，动态调整权重，像章鱼一样适应环境

Transformer²要做「活」的AI模型，动态调整权重，像章鱼一样适应环境

引用

搜狐

1.

https://m.sohu.com/a/849360345_121119001/?pvid=000115_3w_a

自适应大语言模型（LLM）反映了神经科学和计算生物学中一个公认的原理，即大脑根据当前任务激活特定区域，并动态重组其功能网络以响应不断变化的任务需求。

在自然界，「适应」是一种非常普遍的现象。例如，章鱼能够迅速改变自身的肤色和纹理，以融入周围环境，从而躲避天敌和捕捉猎物；人脑在受伤后能够重新连接自身神经回路，使个体能够恢复失去的功能并适应新的思维方式或行动方式。生物体展现出的适应能力使得生命能够在不断变化的环境中蓬勃发展。

在人工智能领域，适应的概念同样具有巨大的吸引力。想象一个机器学习系统，它能够动态地调整自身的权重以在陌生的环境中不断学习、进化。与部署在环境中的静态 AI 模型相比，这种有自适应能力的模型明显学习效率更高，而且有望成为与现实世界动态本质始终保持一致的终生模型。

日本 AI 初创公司 Sakana AI 的一项成果就是对这一方向的探索。在论文中，他们提出了一种可以根据不同任务动态调整模型权重的机器学习系统 ——Transformer^2。