Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

AAAI 2018。这篇论文很有趣,讲的是 GCN 堆得过多了之后,效果会变差的问题。作者分析了一下为什么会变差,主要是因为 GCN 的本质实际上是对每个结点的邻居特征和自身特征做线性组合,权重和邻接矩阵相关,所以对于顶点分类问题来说,如果堆得层数多了,就会让一个结点的特征聚合越来越多邻居的特征,让大家都变得相似,从而使得类间的相似度增大,自然分类效果就差了。作者提出了两个方法解决这个问题,算训练上的 trick 吧。原文链接:Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

Read More

神经网络基础

最近给本科生当机器学习课程的助教,给他们出的作业题需要看这些图,懒得放本地了,直接放博客里。发现jupyter导出markdown好方便,放到博客里面正好,改都不用改。

Read More

决策树为什么要引入随机数

最近在使用scikit-learn的决策树的时候发现每次生成的树都不一样。发现决策树里面的有个random_state的参数,但是没想明白为什么会有这么个参数。

Read More

Gaussian Naive Bayes

假设连续型随机变量服从高斯分布的朴素贝叶斯。发现自己实现的版本比sklearn的精度低了20%左右……研究了一下差在了哪里。

Read More

Lattice LSTM 中文NER

ACL 2018,基于LSTM+CRF,用word2vec对字符进行表示,然后用大规模自动分词的预料,将词进行表示,扔进LSTM获得细胞状态,与基于字符的LSTM的细胞状态相结合,得到序列的隐藏状态,然后套一个CRF。原文链接:Chinese NER Using Lattice LSTM

Read More