Hypergraph Neural Networks HGNN
Hypergraph Neural Networks HGNN论文阅读
【摘要】在本文中，我们提出了一个用于数据表示学习的超图神经网络(HGNN)框架
①它可以在超图结构中编码高阶数据相关性。面对在实践中学习复杂数据表示的挑战，我们建议将这种数据结构纳入超图中，特别是在处理复杂数据时，超图在数据建模方面更加灵活。②该方法设计了超边卷积运算来处理表示学习过程中的数据相关性。通过这种方法，可以有效地利用超边卷积运算来进行传统的超图学习。HGNN能够学习考虑到高阶数据结构的隐含层表示，这是考虑复杂数据相关性的通用框架。
③我们进行了引文网络分类和视觉对象识别任务的实验，并将HGNN与图卷积网络等传统方法进行了比较。实验结果表明，本文提出的HGNN方法优于最新的方法。从结果中我们还可以看出，与现有方法相比，提出的HGNN在处理多模态数据时具有优越性。
1、与传统的卷积神经网络不同，图卷积能够使用神经网络模型对不同输入数据的图结构进行编码，可用于半监督学习过程中。图卷积神经网络利用数据图结构的能力使其在表示学习方面比传统神经网络表现出了优越性
2、传统的图卷积神经网络方法采用数据之间的成对连接。需要指出的是，实际中的数据结构可能超出了成对连接的范围，甚至要复杂得多。面对使用多模态数据的场景，数据关联建模的情况可能会更加复杂。
一方面，数据相关性可能比两两关系更复杂，难以用图结构建模。
另一方面，数据表示往往是多模式的，如本例中的视觉连接、文本连接和社会连接。
在这种情况下，传统的图结构在表述数据相关性方面存在局限性，这就限制了图卷积神经网络的应用。在这种情况下，进一步研究更好、更通用的数据结构模型来学习表示就显得尤为重要和迫切。
为了解决这一难题，在本文中，我们提出了一个超图神经网络(HGNN)框架，该框架使用超图结构进行数据建模。与所有边的度都必须为2的简单图相比，超图可以使用其无度超边编码高阶数据相关性(超越成对连接)，如图2所示。在图2中，图是用邻接矩阵表示的，其中每条边仅连接两个顶点。相反，超图利用其易于灵活的超边，对于多模态、异构的很容易扩展。
例如，超图可以联合邻接矩阵，联合使用多模态数据生成超图，如图2所示。因此，hypergraph已经被用于许多计算机视觉任务，如分类和检索任务(Gao et al. 2012)。
然而，传统的超图学习方法(Zhou, Huang, and Scholkopf 2007)计算复杂度高，存储成本高，限制了超图学习方法的广泛应用。
对框架进行详细介绍。图3展示了hypergraph神经网络的细节。多模态数据集分为训练数据和测试数据，每个数据包含几个具有特征的节点。然后利用多模态数据集的复杂相关性构造多个超边结构群。将超图的邻域矩阵H和节点特征输入到HGNN中，得到节点输出标签。如上介绍的部分,我们可以构建一个hyperedge卷积层f (X, W,Θ)以下配方：X(l+1)= 式中，X(l)∈RN×C是超图在l层的信号，X(0)= X，而σ为非线性**函数。Dv和De起到归一化的作用。
、
如图4所示，HGNN层可以执行节点边-节点转换，这可以使用超图结构更好地细化特性。
更具体地说,首先,初始节点功能X(1)是由可学的过滤处理矩阵Θ(1)提取C2-dimensional特性。然后根据超边收集节点特征，形成超边特征RE乘以C2，由H>∈RE乘以N实现。最后通过相乘矩阵h，将相关的超边特征聚合得到输出节点特征。表示Dvand对式11进行归一化处理。因此，HGNN层可以通过节点-边缘-节点变换有效地提取超图上的高阶相关性。
当超边仅连接两个顶点时，超图简化为一个简单图，而Laplacian∆也与简单图的Laplacian重合到1 / 2。与已有的图形卷积方法相比，我们的HGNN可以自然地建模数据之间的高阶关系，在形成特征提取时有效地利用和编码了这种关系。与传统的超图方法相比，该模型不需要Laplacian∆的逆运算，计算效率很高。还需要注意的是，我们的HGNN对多模态特性具有很大的可扩展性，具有超边生成的灵活性。
在我们的视觉对象分类任务中，N个视觉对象数据的特征可以表示为X = [x1，…，…, xn) >。我们根据两个特征之间的距离建立超图。更具体地说，使用欧几里得距离计算d(xi,xj)。在构造中，每个顶点代表一个可视对象，每个超边由一个顶点与其K个最近邻连接而成，从而产生N个超边，连接K + 1个顶点。这样，我们得到关联矩阵H∈RN×Nwith N×(K + 1)项等于1，其他项等于0。
在引文网络分类中，数据以图的结构组织，每个超边都是根据图上的邻接关系将一个顶点与其相邻的顶点连接起来建立的。所以我们也得到N条超边H∈RN×N。
评估我们提出的超图神经网络在两个任务:引文网络分类和视觉对象识别。我们还将该方法与图卷积网络和其他最新的方法进行了比较.
本实验的任务是对视觉对象进行分类。这里使用了两个公共基准，包括Princeton ModelNet40数据集(Wu et al. 2015)和国立台湾大学(NTU) 3D模型数据集(Chen et al. 2003)，如表3所示。ModelNet40数据集由40个流行类别的12311个对象组成，采用与(Wu et al. 2015)中所介绍的相同的训练/测试分割方法，其中训练使用9843个对象，测试使用2468个对象。NTU数据集由67个类别的2,012个三维形状组成，包括汽车、椅子、象棋、芯片、时钟、杯子、门、框架、笔、植物叶子等。在NTU数据集中，80%的数据用于训练，20%的数据用于测试。在这个实验中，每个三维物体都用提取的特征来表示。本文采用了两种最新的形状表示方法，包括多视图卷积神经网络(MVCNN) (Su et al. 2015)和群视图卷积神经网络(GVCNN) (Feng et al. 2018)。之所以选择这两种方法，是因为它们在三维物体表示上表现出了令人满意的性能。我们遵循MVCNN和GVCNN的实验设置，生成每个3D对象的多个视图。在这里，我们使用12个虚拟相机捕捉30度的间隔角，然后提取MVCNN和GVCNN的特征。
通过对ModelNet40和NTU数据集的n次实验，采用了两种超图构造方法。第一种是基于单模态特征，另一种是基于多模态特征。在第一种情况下，只使用了一个特性。每次选取数据集中的一个对象作为质心，利用其在所选特征空间中的10个最近邻，生成一个包含质心本身的超边，如图5所示。然后，可以构造具有N条超边的超图G。在第二种情况下，利用多个特征生成一个超图来建模复杂的多模态关联。在此，针对ithmodality数据，相应地构造了一个超图邻接矩阵Hiis。在生成完所有来自不同特征的超图后，将这些相邻矩阵串联起来，构建多模态超图的相邻矩阵h。这样就可以构造出使用单模态特征和多模态特征的超图。
使用超图结构可以获得更好的性能。超图结构能够表达数据之间复杂的、高阶的相关性，与图结构或不使用图结构的方法相比，超图结构能够更好地表示底层数据关系。此外，当多模态数据/特性可用时，HGNN具有将这些多模态信息通过其灵活的超边缘组合在同一结构中的优势。与传统的超图学习方法存在计算复杂度高、存储开销大的问题相比，通过超边缘卷积运算，HGNN框架的效率大大提高。