A Tutorial on Spectral Clustering
关于谱聚类的文章,主要包含了谱聚类和拉普拉斯矩阵的内容。最近研究 GCN 的原理的时候发现了这篇论文。
Von Luxburg U. A tutorial on spectral clustering[J]. Statistics and Computing, 2007, 17(4): 395-416.
原文链接:A Tutorial on Spectral Clustering
关于谱聚类的文章,主要包含了谱聚类和拉普拉斯矩阵的内容。最近研究 GCN 的原理的时候发现了这篇论文。
Von Luxburg U. A tutorial on spectral clustering[J]. Statistics and Computing, 2007, 17(4): 395-416.
原文链接:A Tutorial on Spectral Clustering
Layer Normalization,之前看到一篇论文用了这个LN层,看一下这个怎么实现。原文链接:Layer Normalization
AAAI 2018。这篇论文很有趣,讲的是 GCN 堆得过多了之后,效果会变差的问题。作者分析了一下为什么会变差,主要是因为 GCN 的本质实际上是对每个结点的邻居特征和自身特征做线性组合,权重和邻接矩阵相关,所以对于顶点分类问题来说,如果堆得层数多了,就会让一个结点的特征聚合越来越多邻居的特征,让大家都变得相似,从而使得类间的相似度增大,自然分类效果就差了。作者提出了两个方法解决这个问题,算训练上的 trick 吧。原文链接:Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
最近在使用scikit-learn的决策树的时候发现每次生成的树都不一样。发现决策树里面的有个random_state的参数,但是没想明白为什么会有这么个参数。
ICLR 2017。图卷积中谱图领域理论上很重要的一篇论文,提升了图卷积的性能,使用切比雪夫多项式的1阶近似完成了高效的图卷积架构。原文链接:Semi-Supervised Classification with Graph Convolutional Networks. Kipf & Welling 2017
正向最大匹配,逆向最大匹配
假设连续型随机变量服从高斯分布的朴素贝叶斯。发现自己实现的版本比sklearn的精度低了20%左右……研究了一下差在了哪里。
ACL 2018,基于LSTM+CRF,用word2vec对字符进行表示,然后用大规模自动分词的预料,将词进行表示,扔进LSTM获得细胞状态,与基于字符的LSTM的细胞状态相结合,得到序列的隐藏状态,然后套一个CRF。原文链接:Chinese NER Using Lattice LSTM
ICML 2017,大体思路:卷积+一个线性门控单元,替代了传统的RNN进行language modeling,后来的Facebook将这个用于机器翻译,提出了卷积版的seq2seq模型。原文链接:Language Modeling with Gated Convolutional Networks