Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks

NIPS 2015. 在训练seq2seq的时候,比如像机器翻译,训练的时候,每个输出y,它所依据的前一个词,都是正确的。但是在预测的时候,输出的这个词依照的上一个词,是模型输出的词,无法保证是正确的,这就会造成模型的输入和预测的分布不一致,可能会造成错误的累积。本文提出了scheduled sampling来处理这个问题。原文链接:Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks

Read More

Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting

ICLR 2018,DCRNN,模型借鉴了Structured Sequence Modeling With Graph Convolutional Recurrent Networks (ICLR 2017 reject)里面的DCRNN,将该模型应用于了交通预测上。而且后者的论文使用的卷积是Defferrard提出的图卷积,这篇论文中使用的是扩散卷积,这种扩散卷积使用的是随机游走,与Diffusion-Convolutional Neural Networks (NIPS 2016)的扩散卷积还不一样。构造出来的DCRNN使用了Structured Sequence Modeling With Graph Convolutional Recurrent Networks (ICLR 2017 reject)两种形式中的模型2,即使用扩散卷积学习出空间表示后,放入GRU中进行时间上的建模。原文链接:Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting

Read More

Diffusion-Convolutional Neural Networks

NIPS 2016。DCNNs,写的云里雾里的,不是很懂在干什么。。。就知道是融入了转移概率矩阵,和顶点的特征矩阵相乘,算出每个顶点到其他所有顶点的 $j$ 步转移的特征与转移概率的乘积,成为新的顶点表示,称为diffusion-convolutional representation,然后乘以一个卷积核,套一个激活,卷积就定义好了。应用还是在顶点分类与图分类上。原文链接:Diffusion-Convolutional Neural Networks

Read More

Graph Attention Networks

ICLR 2018。图注意力网络,使用 self-attention 来构建 graph attentional layer,attention 会考虑当前顶点所有的邻居对它的重要性,基于谱图理论的模型不能应用到其他不同结构的图上,而这个基于attention的方法能有效的解决这个问题。原文链接:Graph Attention Networks

Read More