GMAN: A Graph Multi-Attention Network for Traffic Prediction

AAAI 2020,使用编码解码+att的架构,只不过编码和解码都使用 attention 组成。主要的论点是空间和时间的关联性是动态的,所以设计这么一个纯注意力的框架。值得注意的点是:由于注意力分数的个数是平方级别的,在计算空间注意力的时候,一旦结点数很大,这里会有超大的计算量和内存消耗,这篇文章是将结点分组后,计算组内注意力和组间注意力。原文链接:https://arxiv.org/abs/1911.08415

Read More

MXNet 与 cuda 版本兼容的问题

最近在做实验的时候发现了一个非常神奇的问题,搞得我一度很郁闷。我在 kaggle 上面写了个 mxnet symbolic 的程序,在测试集上效果不错,论文都写完了,结果拿回实验室的 GPU 上一跑,发现结果复现不了了,差了两个点。但我所有的实验都做了 10 次,如果说 1 次实验效果好还可以说是巧合,但这是 10 次实验啊。

Read More

DeepSTN+: Context-aware Spatial-Temporal Neural Network for Crowd Flow Prediction in Metropolis

AAAI 2019,网格流量预测,对比ST-ResNet,抛出三个问题,卷积捕获的空间范围小、人口流动和区域的功能相关、之前的融合机制不好。改了一下残差卷积,给 POI 信息增加了时间维度,多组件的信息提前融合,减少了参数,稳定模型训练。原文链接:DeepSTN+: Context-aware Spatial-Temporal Neural Network for Crowd Flow Prediction in Metropolis

Read More

Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning

TKDE 2019,网格流量预测,用一个模型同时预测每个网格的流入/流出流量和网格之间的转移流量,分别称为顶点流量和边流量,同时预测这两类流量是本文所解决的多任务预测问题。本文提出的是个框架,所以里面用什么组件应该都是可以的,文章中使用了 FCN。使用两个子模型分别处理顶点流量和边流量预测问题,使用两个子模型的输出作为隐藏状态表示,通过拼接或加和的方式融合,融合后的新表示再分别输出顶点流量和边流量。这篇文章和之前郑宇的文章一样,考虑了三种时序性质、融合了外部因素。损失函数从顶点流量预测值和真值之间的差、边流量预测值和真值之间的差、顶点流量预测值之和与边流量的预测值之差三个方面考虑。数据集是北京和纽约的出租车数据集。 Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning

Read More