【机器学习】LP距离、欧式距离、曼哈顿距离、切比雪夫距离

其余机器学习系列文章见于专题:机器学习进阶之路——学习笔记整理,欢迎你们关注。html

  设特征空间 χ \chi n n 维实数向量空间 R n R^n x i , x j χ {x_i},{x_j} \in \chi x i = ( x i ( 1 ) , x i ( 2 ) ,   , x i ( n ) ) T x _ { i } = \left( x _ { i } ^ { ( 1 ) } , x _ { i } ^ { ( 2 ) } , \cdots , x _ { i } ^ { ( n ) } \right) ^ { T } x j = ( x j ( 1 ) , x j ( 2 ) ,   , x j ( n ) ) T x _ { j } = \left( x _ { j } ^ { ( 1 ) } , x _ { j } ^ { ( 2 ) } , \cdots , x _ { j } ^ { ( n ) } \right) ^ { \mathrm { T } } web

1. 闵可夫斯基距离(Minkowski distance, L p L_p 距离)

   x i , x j x_i,x_j L p L_p 距离定义为:
L p ( x i , x j ) = ( i = 1 n x i ( l ) x j ( l ) p ) 1 p L _ { p } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { i = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { p } \right) ^ { \frac { 1 } { p } }
其中, p 1 p \ge 1 app

2. 曼哈顿距离(Manhattan distance)

  当 p = 1 p=1 时, L p L_p 距离就变成了曼哈顿距离:
L 1 ( x i , x j ) = l = 1 n x i ( l ) x j ( l ) L _ { 1 } \left( x _ { i } , x _ { j } \right) = \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| 机器学习

3. 欧式距离(Euclidean distance)

  当 p = 2 p=2 L p L_p 距离就变成了欧几里得距离:
L 2 ( x i , x j ) = ( l = 1 n x i ( l ) x j ( l ) 2 ) 1 2 L _ { 2 } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { 2 } \right) ^ { \frac { 1 } { 2 } } ide

4. 切比雪夫距离(Chebyshev distance)

  当 p = p = \infty L p L_p 距离就变成了切比雪夫距离,它是各个坐标距离的最大值:
L ( x i , x j ) = max l x i ( l ) x j ( l ) L _ { \infty } \left( x _ { i } , x _ { j } \right) = \max _ { l } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| svg

参考文献:学习

  1. 《统计学习方法》第三章k近邻模型——李航