KL散度，JS散度，余弦距离，欧式距离

散度：量化两种概率分布P和Q之间差异的方式；相当于衡量两个函数之间的关系
GAN是最小化JS散度
VAE是最小化KL散度
KL散度（不对称）：设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值。两个概率分布p和q的KL散度（Kullback–Leibler divergence）也称为相对熵，用于刻画概率分布q拟合概率分布p的程度。

JS散度（对称）：

距离：两个特征向量之间的相似性（衡量两个常量之间的关系）
余弦相似度
余弦距离：体现方向上的相对差异

欧氏距离：体现数值上的绝对差异
应用场景：统计两部剧的用户观看行为，用户 A 的观看向量为(0, l ），用户 B 为（ 1 ,0）；，此时二者的余弦距离很大， 而欧氏距离很小， 我们分析两个用户对于不同视频的偏好更关注相对差异，显然应当使用余弦 。 而当我们分析用户活跃度以登陆次数（单位：次）和平均观看时长（单位：分钟）作为特征时，余弦距离会认为（ l, l 0）、 (10,100）两个用户距离很近，但显然这两个用户活跃度是有着极大差异的此时我们更关注数值绝对差异，应当使用欧氏距离 。两者的关系：