GMAN: A Graph Multi-Attention Network for Traffic Prediction

AAAI 2020,使用编码解码+att的架构,只不过编码和解码都使用 attention 组成。主要的论点是空间和时间的关联性是动态的,所以设计这么一个纯注意力的框架。值得注意的点是:由于注意力分数的个数是平方级别的,在计算空间注意力的时候,一旦结点数很大,这里会有超大的计算量和内存消耗,这篇文章是将结点分组后,计算组内注意力和组间注意力。原文链接:https://arxiv.org/abs/1911.08415

Read More

Graph Attention Networks

ICLR 2018。图注意力网络,使用 self-attention 来构建 graph attentional layer,attention 会考虑当前顶点所有的邻居对它的重要性,基于谱图理论的模型不能应用到其他不同结构的图上,而这个基于attention的方法能有效的解决这个问题。原文链接:Graph Attention Networks

Read More