Facebook出手，自适应梯度能否打败人工调参？

本文共计1816个文字，预计阅读时间需要8分钟。

家庭和睦，我是小白。在多任务模型中，各个任务难以协调、收集、效果均衡，是一件令人头疼的事情。有没有什么可以让人们省心省力的‘自适应’方法呢？笔者的浏览了一些最近的顶级会议文章。

大家好，我是对白。

多任务模型中各个任务难以调参、收敛、效果平平，是一件令人头疼的事情。有没有什么可以令人省心省力的“自适应”方法呢？笔者浏览了一些最近的顶会文章，读了一些相关文章，今天挑选一篇分享给大家~

说到多任务学习，想必大家都不陌生。在理想的推荐场景中，通过与辅助任务的联合学习，可以提升目标任务的预测效果。例如，在社交推荐中，用户偏好的学习可以与辅助任务（预测用户之间的联系与信任）联合训练。

但理想归理想，现实却往往“事故多发”。说不定，在加了多个辅助任务，并经历艰难的调参之后，目标任务的效果却令人头秃。直觉分析原因，有两种可能：

• 当辅助任务产生了比目标任务更大的影响，甚至支配了网络权重时，目标任务的结果会变得更差；

• 另一个极端，当一个或多个辅助任务的影响太弱时，则无法帮助目标任务提升效果。

更具可能性的情况是，上述两个可能原因在训练的过程中交替出现，并且在同一个网络的不同部分之间变化。

在多任务学习中，模型的训练loss通常由多个损失函数加权得到，而不同任务重要程度往往是需要人为设参的，使得我们可能在调参问题上时间花费较多。

这篇文章所提的方法MetaBalance采用对辅助任务动态梯度调整的方式，取代对不同任务的权重调整，在NDCG@10上针对两数据集取得了8.34%的改进。