基于梯度优化的多任务混合学习方法

来源：计算机技术与发展杂志2021年第10期北京时间：

作者：郭辉;郭静纯;张甜

摘要：多任务学习作为深度学习的一个分支,得到了广泛关注与深入研究,但仍然存在网络结构复杂、任务区分困难的问题。 据此,基于硬参数共享神经网络给出梯度优化的多任务混合学习方法。 首先,无需区分不同任务,将多任务训练数据一同送入网络进行混合训练,所有任务共用一个损失函数,前一次训练所得的网络共享层参数作为下次训练的共享层初始化参数;其次,根据不同共享层提取特征的差异和任务在深层梯度变化的不同,调节相应的激活值,优化网络参数,既保持了硬参数共享神经网络结构的简洁性特点,又利于解决多任务训练过程中数据的非平衡问题;最后,通过在 UCI 公开数据集中的鸢尾花和天平秤数据上的实际应用,以及与传统的硬参数共享神经网络的纵向对比,验证了该学习方法的可行性与有效性。

关键词：多任务学习;硬参数共享;特征提取;混合训练;梯度优化