马氏距离与欧氏距离

马氏距离函数

    马氏距离也能够定义为两个服从同一分布而且其协方差矩阵为Σ的随机变量之间的差别程度。基础

若是协方差矩阵为单位矩阵,那么马氏距离就简化为欧氏距离,若是协方差矩阵为对角阵,则其也可称为正规化的欧氏距离。变量

欧氏距离的缺点方法

    咱们熟悉的欧氏距离虽然颇有用,但也有明显的缺点。它将样品的不一样属性(即各指标或各变量)之间的差异等同看待,这一点有时不能知足实际要求。例如,在教育研究中,常常遇到对人的分析和判别,个体的不一样属性对于区分个体有着不一样的重要性。所以,有时须要采用不一样的距离函数。统计

马氏与欧式距离的比较数据

1)马氏距离的计算是创建在整体样本的基础上的,这一点能够从上述协方差矩阵的解释中能够得出,也就是说,若是拿一样的两个样本,放入两个不一样的整体中,最后计算得出的两个样本间的马氏距离一般是不相同的,除非这两个整体的协方差矩阵碰巧相同;di

2)在计算马氏距离过程当中,要求整体样本数大于样本的维数,不然获得的整体样本协方差矩阵逆矩阵不存在,这种状况下,用欧氏距离计算便可。ant

3)还有一种状况,知足了条件整体样本数大于样本的维数,可是协方差矩阵的逆矩阵仍然不存在,好比三个样本点(3,4),(5,6)和(7,8),这种状况是由于这三个样本在其所处的二维空间平面内共线。这种状况下,也采用欧氏距离计算。

4)在实际应用中“整体样本数大于样本的维数”这个条件是很容易知足的,而全部样本点出现3)中所描述的状况是不多出现的,因此在绝大多数状况下,马氏距离是能够顺利计算的,可是马氏距离的计算是不稳定的,不稳定的来源是协方差矩阵,这也是马氏距离与欧氏距离的最大差别之处。

马氏距离的优劣:

优势:它不受量纲的影响,两点之间的马氏距离与原始数据的测量单位无关,由标准化数据和中心化数据(即原始数据与均值之差)计算出的二点之间的马氏距离相同。马氏距离还能够排除变量之间的相关性的干扰。

缺点:它的缺点是夸大了变化微小的变量的做用。 [1]

若是用dij表示第i个样品和第j个样品之间的距离,那么对一切i,j和k,dij应该知足以下四个条件:

①当且仅当i=j时,dij=0

②dij>0

③dij=dji(对称性)

④dij≤dik+dkj(三角不等式)

显然,欧氏距离知足以上四个条件。知足以上条件的函数有多种,本节将要用到的马氏距离也是其中的一种。

第i个样品与第j个样品的马氏距离dij用下式计算:

dij =((x i 一x j)TS-1(x i一xj) )1/2(T、-一、1/2都是上标)

其中,T表示转置,x i 和x j分别为第i个和第j个样品的m个指标所组成的向量,S为样本协方差矩阵。

马氏距离在回归分析中,是测量某一自变量的观测量与同一自变量全部观测量平均值差别的统计量,此值越大,说明该观测量为影响点的可能性越大。

    Mahalanobis距离是表示数据的协方差距离。它是一种有效的计算两个未知样本集的类似度的方法。与欧氏距离不一样的是它考虑到各类特性之间的联系

与欧氏距离不一样的是它考虑到各类特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,由于二者是有关联的)而且是尺度无关的(scale-invariant),即独立于测量尺度。

举个例子,坐飞机从上海到北京和坐普快从上海到北京,因为速度的差别,会让人以为距离也有变化,坐飞机可能以为,好快啊,没多远,一下就到了,坐火车,时常会感受好慢,怎么这么远。

再举个例子,小时候买菜都用杆秤,假如物品和秤砣刚好相等且分别放在秤的两端,那么提纽应该刚好在正中间。但随着物品的重量增大,而秤砣的重量不变,那么这时候,提纽就应该向物品一侧靠近,才能继续保持平衡。马氏距离,就是一个找到两个物体之间平衡点的方法。