马氏距离-Mahalanobis Distance

Mahalanobis距离是表示数据的协方差距离。它是一种有效的计算两个未知样本集的类似度的方法。与欧氏距离不一样的是它考虑到各类特性之间的联系web

与欧氏距离不一样的是它考虑到各类特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，由于二者是有关联的）而且是尺度无关的（scale-invariant），即独立于测量尺度。svg

举个例子，坐飞机从上海到北京和坐普快从上海到北京，因为速度的差别，会让人以为距离也有变化，坐飞机可能以为，好快啊，没多远，一下就到了，坐火车，时常会感受好慢，怎么这么远。atom

再举个例子，小时候买菜都用杆秤，假如物品和秤砣刚好相等且分别放在秤的两端，那么提纽应该刚好在正中间。但随着物品的重量增大，而秤砣的重量不变，那么这时候，提纽就应该向物品一侧靠近，才能继续保持平衡。马氏距离，就是一个找到两个物体之间平衡点的方法。spa

对于一个均值为$\mu = ( \mu_1, \mu_2, \mu_3, \dots , \mu_p )^T$，协方差矩阵为$\Sigma$的多变量向量$x = ( x_1, x_2, x_3, \dots, x_p )^T$，其马氏距离为
code

$$D_M(x) = \sqrt{(x - \mu)^T \Sigma^{-1} (x-\mu)}$$

协方差矩阵是方阵，其维度跟样本维度同样。orm

对于两个变量，$x和y$的协方差计算公式：$Cov(x,y)=E(x-e(x))(y-E(y))$
对于多个列向量，协方差矩阵计算公式：$\Sigma _{ij}=cov(Dim_i,Dim_j)$
即，$Cov_{ij}$表示第i维和第j维的协方差，举4维例子来讲，设4个维度分别为a,b,c,dxml

$$\begin{equation}\Sigma _{ij}=\left( \begin{array}{cccc} cov(a,a) & cov(a,b) & cov(a,c) &cov(a,d)\\cov(b,a) & cov(b,b) & cov(b,c) &cov(b,d)\\ cov(c,a) & cov(c,b) & cov(c,c) &cov(c,d)\\ cov(d,a) & cov(d,b) & cov(d,c) &cov(d,d)\\ \end{array}\right)\end{equation}$$

若是协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离；若是协方差矩阵为对角阵，其也可称为正规化的欧氏距离。
ip

$$D_M(x) =\sqrt{\sum_{i=1}^p {(x_i - y_i)^2 \over \sigma_i^2}}$$
其中 $\sigma_i$是 xi 的标准差。