多任务学习，在共享层，究竟在共享什么？

多任务学习，在共享层，究竟在共享什么？

引用

CSDN

1.

https://blog.csdn.net/qlkaicx/article/details/137934969

在多任务学习中，共享层所共享的主要是网络结构和参数。具体来说，当多个任务在共享层进行参数硬共享时，它们使用的是相同的网络结构（例如三层全连接神经网络），并且这些网络层的权重（weights）和偏置（biases）是完全一样的。

这种共享机制意味着，对于共享层中的每一个神经元，它接收的输入、应用的激活函数以及输出的特征表示，对于所有任务来说都是相同的。在训练过程中，这些共享参数会根据所有任务的损失函数进行同步更新，从而学习到一种能够同时适应多个任务的通用表示或特征。

通过共享这些参数和网络结构，多任务学习模型能够捕捉不同任务之间的共同信息或模式，这有助于提升每个任务的性能。同时，由于共享层减少了需要学习的参数数量，这也有助于缓解过拟合问题，并提高模型的泛化能力。

需要注意的是，虽然共享层在结构和参数上是共享的，但每个任务在特殊层（即非共享层）通常会有自己的参数和网络结构，以捕捉各自特有的信息或模式。这种组合使得模型能够在保持任务间共享信息的同时，也能处理任务间的差异。

总结

在多任务学习中，共享层通常指的是神经网络模型中的某一层（或多个层），在这些层中，参数被设计为在多个任务之间共享。共享层的作用是学习和提取数据的通用表示，这些表示可以被不同的任务共享和利用，从而提高整体模型的泛化能力和效率。

具体来说，在共享层中，网络学习到的是输入数据的高级特征表示。这些特征表示通常被认为对于多个任务都是有用的，因此通过在共享层中共享参数，不同的任务可以共同受益于这些特征表示的学习过程。这样做的好处是可以在不同任务之间共享知识，提高模型对数据的整体理解能力，减少对大量任务特定参数的需求，从而提高模型的泛化能力和训练效率。