2022-04-26论文阅读笔记13 minutes read (About 1926 words)

Event sequence metric learning

这是一篇讲事件序列度量学习的文章，提出的模型叫MeLES，Metric Learning for Event Sequences。Event sequence metric learning

事件序列主要是指连续时间下的离散事件。比如用户的信用卡交易、在网站上的点击行为等等。

1. 模型架构

2. 原理

2.1 样本构成

每$N$个序列构成一个batch，对这个batch内的序列进行切分，有三种切分方式：

保持事件顺序，随机不放回采样
随机切分序列，子序列之间不重叠
随机切分序列，子序列之间重叠

不管怎么切，都能把一个序列切成多个子序列，这里将每个序列切成$K$个子序列，那么一个batch就可以得到$N \times K$个子序列。

在这些子序列中，来自同一个序列的两个子序列组成的pair，为正样本，来自不同序列的两个子序列组成的pair为负样本。这样，对于每个子序列，就有$K - 1$个正样本，$(N - 1) \times K$个负样本。

2.2 序列表示

然后使用RNN或者是transformer对子序列进行编码，编码后可以得到一个向量，这个向量就是这个子序列的嵌入表示。拿到这个表示，就可以计算损失了。

2.3 损失

计算损失的时候，最简单的想法肯定就是类似交叉熵一样的损失，正样本的损失加上负样本的损失即可。

但是之前的研究认为，有些嵌入表示，他们的距离过于远，这种样本对模型训练没什么用，因此本文给了两个损失函数来剔除这种情况。一个叫contrastive loss，一个叫margin loss，原理都是一样的。

对于contrastive loss来说，正样本的损失正常计算，而负样本的损失，如果pair中的两个表示的距离大于$m$，就不要了。

对于margin loss是同样的原理，$b + m$和$b - m$构成了损失函数的边界，正样本的距离要大于$b - m$才有意义，而负样本的距离要小于$b + m$才有意义。而且，当$b < m$的时候，这个损失就会变得和上面的contrastive loss一样，只考虑负样本的margin，因为只要距离是欧式距离，在任何情况下$max(0, D^i_W - b + m) = D^i_W - b + m > 0$。

2.4 负样本采样策略

然后，除了上述的损失函数可以控制两个距离过远的负样本不计算损失，还可以做负样本采样，也就是刚才说的 $(N - 1) \times K$ 个负样本，只取出一部分用来训练。这里有4种方式：

随机采样
难例挖掘，对每个整理生成$k$个难例作为负样本
负样本采样的时候考虑距离因素
第四个没看明白他在说啥，倒是给了个参考文献：Florian Schroff, Dmitry Kalenichenko, and James Philbin. 2015. FaceNet: A
unified embedding for face recognition and clustering. 2015 IEEE Conference on
Computer Vision and Pattern Recognition (CVPR) (2015), 815–823.

不管是上述哪种负采样方案，除了第一种，都是要算距离的，也就是算两个embedding之间的距离。而且是要算batch内任意两个embedding之间的距离，或者说是算 $(N - 1) \times K$ 个距离。如果用欧氏距离计算嵌入$A$和$B$之间的距离，那么$D(A, B) = \sqrt{\sum_i (A_i - B_i)^2} = \sqrt{\sum_i A^2_i + \sum_i B^2_i - 2 \sum_i A_i B_i}$，这里为了计算简便，只要让$\Vert A \Vert = \Vert B \Vert = 1$就好了，那就能转换成$D(A, B) = \sqrt{2 - 2(A \cdot B)}$。所以，为了达成上面的目标，让$A$和$B$的模等于1，只要对这些嵌入表示做标准化，就可以实现了。论文里面说，做了这个操作之后，负样本采样的计算复杂度是$O(n^2h)$，这个我还没想明白，后面再说吧。

3. 实验

两个数据集都是银行交易数据，主要是通过交易事件序列预测用户的年龄与性别。

3.1 Baselines

手工特征+GBM，手工构建了近1k个特征，然后用LightGBM。
Contrastive Predictive Coding(CPC)，一个自监督学习方法，Aäron van den Oord, Yazhe Li, and Oriol Vinyals. 2018. Representation
Learning with Contrastive Predictive Coding. CoRR abs/1807.03748 (2018).
arXiv:1807.03748 http://arxiv.org/abs/1807.03748
除了上面两个方法，作者还试了编码器网络+分类网络直接用于监督学习任务，这里就没有预训练了。