GNN，能否让您的网络层数再深一些，探索更深层次的特征呢？

本文共计1773个文字，预计阅读时间需要8分钟。

尊敬的家人，我是小白。关于图神经网络中GNN的平滑性问题，朋友们深知这并非易事。随着网络层数的增加，模型的性能反而急速下降，让人心生忧虑。回顾一下，常见的解决平滑化问题的方案有：

大家好，我是对白。

了解图神经网络的朋友对于深层GNN中的过平滑问题一定不陌生，随着网络层数的增加，模型的效果反而急剧下降，令人心痛。回忆一下，常见的解决过平滑的方案有DropEdge、基于残差的方法还有Normalization等，但效果却不尽人意。

今天在KDD2022看到一篇有趣的文章，它没有止步于GNN中的过平滑问题，而是从另一个新视角去思考深层网络效果骤降的问题——特征维度的过相关问题。所谓特征维度的过相关，顾名思义，指我们所学习到的特征维度之间高度相关，意味着高冗余以及学习到的维度编码的信息较少，从而损害下游任务效果。文中，作者不仅从理论与实践证明了特征维度相关问题的重要性，还提出方案DeCorr，分别基于显示特征维度与最大互信息两种方法实现去相关任务。

从表中可以看出，所提出的方案对于相同的模型层数，在大多数情况下可以实现最佳性能，并显著减缓性能下降。例如，在Cora数据集中，DeCorr分别将15层GCN和30层GCN提高了58.9%和60.3%。