1. 介绍

3D飞行时间(Time-of-Flight TOF)技术正在给机器视觉行业带来革命性变化。通过使用低成本的CMOS像素阵列和主动调制光源从而实现3D成像。
结构紧凑，易于使用，加上高精度和高帧率，使TOF相机具有广泛应用。在本文中，我们介绍TOF操作的基础知识，并将TOF与其他2D/3D视觉技术进行比较。然后，将探索从TOF传感中受益的各种应用，如手势识别，3D扫描和打印等，人数统计等。

2. 工作原理

3D飞行时间(TOF)相机的工作原理是使用调制光源照亮场景，并观察反射光。测量照射和反射之间的相移 （phase shift） 并将其转换为距离。图1说明了TOF的基本概念。通常，是通过固体激光器进行照明，波长在人眼不可见的近红外范围 (~850nm) 工作的LED。成像传感器设计响应相同的光谱接收光，并将光子能量转换为电流。注意，进入传感器的光有一个环境分量和一个反射分量。距离 (深度) 信息只嵌入到反射组件中。因此，高环境分量降低了信噪比(SNR)。
图1: 3D TOF相机工作原理

为了检测照明和反射之间的相位变化，光源是脉冲 （Pulsed） 或者调制后的连续波 (continuous-wave) ，通常是正弦或方波。方波更为常用，因为更容易通过数字电路¹实现。
脉冲调制可以通过将反射光中的光电子积分来实现，或者通过在反射的第一次检测时启动快速计数器来实现。后者需要一个快速的光电探测器，通常是一个单光子雪崩二极管(SPAD)。这种计数方法需要快速的电子技术，因为达到1毫米的精度需要持续时间为6.6皮秒 (picoseconds) 的脉冲。这种精确度在室温²的硅中几乎是不可能达到的。
图2：两种TOF实现方法：Pulsed（上）和 CW（下）

Pulsed法是直接的，光源在一定周期( $Δt$Δt)下进行照射，每个像素并行的采用两个不同相位的窗口， $C_1$C1​和 $C_2$C2​，对反射的能量进行采样，同时使用相同的 $Δt$Δt。电荷在采样过程中进行积累，测量得到 $Q_1$Q1​和 $Q_2$Q2​，并使用公式计算距离：
相比之下，CW方法每次测量都要采样多个样本，每个样本都进行90度的步进，总共四个样本。利用该技术，可以计算出照射与反射之间的相位角 $φ$φ，和距离 $d$d
由此可知，测量的像素强度( $A$A)和偏移量( $B$B)可由:
在所有的方程中，c是光速常数。

乍一看，CW方法的复杂性，与脉冲方法相比，可能似乎是不合理的，但更仔细地看CW方程中，( $Q_3-Q_4$Q3​−Q4​)和( $Q_1-Q_2$Q1​−Q2​)减少了恒定的测量偏移的影响。此外，相位方程中的商减少了来自距离测量的常数增益的影响，如系统放大和衰减，或反射强度。这些都是我们想要的特性。
反射振幅( $A$A)和偏移( $B$B)对深度测量精度有影响。深度测量方差可近似为:
调制对比度, $c_d$cd​,描述了TOF传感器分离和收集光电子的效果。反射振幅 $A$A是光功率的函数。偏移量 $B$B是环境光和残差系统的函数。从公式6可以推断，高振幅，高调制频率和高调制对比度将增加精度；而高偏移量会导致饱和和精度降低。
在高频时，由于硅的物理特性，调制对比度开始衰减。这就给调制频率设定了一个实际的上限。具有高 roll-off 频率的TOF传感器通常可以提供更高的精度。

事实上CW的测量是基于环绕着每一个 $2π$2π相位的。这意味着这个距离也会有一个混叠距离(aliasing distance)。发生混叠的距离称为模糊距离(ambiguity distance)， $d_{amb}$damb​，和被定义为:
Eq.7:
$d_{amb}=\frac c{2f}$damb​=2fc​
因为wraps距离 $d_{amb}$damb​，也是最大可测量的距离。如果希望延长可测量的距离，就需要降低调制频率，但需要以降低精度为代价，如公式6所示。

先进的TOF系统没有接受这种妥协，而是采用多频技术来在不降低调制频率的情况下延长距离。多频技术通过在混合中增加一个或多个调制频率来工作。每个调制频率将有不同的模糊距离(ambiguity distance)，但真正的位置是一个不同的频率的信号一致的地方。当两种调制频率一致时的频率称为Beat Frequency，通常较低，对应较长的模糊距离。下图说明双频（dual-frequency）的概念。

图3： 使用多频技术的扩展距离

3. 点云

在TOF传感器中，测量二维可寻址数组中每个像素的距离，从而得到深度图（depth map）。深度图是3D点的集合(每个点也称为 voxel )。例如，QVGA传感器拥有320 x 240 voxels 的深度图。深度图的2D表示是灰度图像，如图中汽水罐示例所示图4强度越亮，voxel越接近。图4显示了一组饮料罐的深度图。
图4：深度图饮料罐

或者，深度图可以在三维空间中以点集合或点云的形式呈现。三维点可以在数学上连接起来，形成一个纹理表面可以映射到其上的网格。如果纹理来自同一主题的实时彩色图像，则将出现该主题的逼真的3D渲染，如图5中的化身所示。可以旋转化身以查看不同的视角。
图5：人像点云图