|
目前的深度相机根据其工作原理可以分为三种：TOF、RGB双目、结构光。 三种方案的对比：  RGB双目： RGB双目相机因为非常依赖纯图像特征匹配，所以在光照较暗或者过度曝光的情况下效果都非常差，另外如果被测场景本身缺乏纹理，也很难进行特征提取和匹配。你看看下面的图就懂了。  结构光： 目的是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的上述问题。但是，在强光下，结构光核心技术激光散斑会被淹没。因此，不合适室外。同时，在长时间监控方面，激光发射设备容易坏，重新换设备后，需要重新标定。  ToF： TOF, 即 time of flight , 直译过来就是飞行时间。 其基本原理是通过连续发射光脉冲（一般为不可见光）到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离。  下面主要介绍ToF相机工作原理。 目前， TOF 传感器工作原理中主要有两种，基于脉冲波（ paulse base ）的技术原理、基于连续调制波（ CW ）的技术原理。 脉冲调制： 脉冲调制方案的原理比较简单，如下图所示。它直接根据脉冲发射和接收的时间差来测算距离。  脉冲调制方案的照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。接收端的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关（下图的G0，G1）可以把电流导入不同的可以储存电荷(下图S0，S1)的电容里。  发射脉冲可以设定一个频率 f ，并且开启两个反向的窗口（G0和G1）， S0和S1中电荷量通过ADC转换为DMIX0 与 DMIX1 ， G0窗口的频率和相位是与发射脉冲是一致的，另外一个G1是与 G0 反向，并且相位差为 180 。 在两个窗口打开的时候，也就是高电平的时候，并且这时候存在物体反射过来的脉冲波，这时候两个不同窗口在各自的时间内收集电荷。在图上已经用红色上色表示。假设 DMIX0 收集到的电荷量为 Q0 ， DMIX1 收集到的电荷量为 Q1 。 Q0 与 Q1 相加的这部分就是有反射脉冲时间内收集的电荷量。 因为单个光脉冲的持续时间非常短，此过程会重复几千次，直到达到曝光时间。然后感光传感器中的值会被读出，实际距离可以根据这些值来计算。td 表示相位差存在的时间，为了计算 td ，可以通过计算 Q1 在反射脉冲所占的时间，为了计算 Q1 这部分的时间，我们可以读取 DMIX0 与 DMIX1 窗口上的电平，也就是 Q0 加 Q1 与 Q1 的比值，再乘上发射电平高电平的时间。因此，可以通过式子计算相位差 d ：  最大的可测量的距离是：在DMIX1中收集了所有电荷，而在DMIX0中根本没有收集到电荷。然后，该公式得出d= 0.5 x c × tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如，tp = 50 ns，代入上式，得到最大测量距离d = 7.5m。 连续波调制： 实际应用中，通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比(见后面推导)，因此可以利用相位偏移来测量距离。  连续调制波在脉冲波的基础上而来，连续调制波通常是连续正弦波调制，与脉冲不同的是，连续调制波开启了 4 个窗口分别是 C1-C4。 如下图所示。  由于连续调制波通常是连续正弦波调制，可以将调制波看成是正弦波如下图所示。  连续正弦波调制测量方法，推导过程如下。 1. 假设发射的正弦信号 s(t) 振幅是 a ，调制频率是 f  2. 经过时延 △ t 后接收到的信号为接收 r(t) ，衰减后的振幅为 A ，强度偏移（由环境光引起）为 B  3. 四个采样时间间隔相等，均为 T/4  4. 根据上述采样时间可以列出四个方程组  5. 从而可以计算出发射和接收的正弦信号的相位偏移 △ φ    6. 据此根据公式计算物体和深度相机的距离 d  7. 接收信号的衰减后的振幅 A 的计算结果  8. 接收信号强度偏移 B 的计算结果，反映了环境光  对比： 两种方法各有优缺点。 脉冲调制：
连续波调制：
总结： 目前的消费级TOF深度相机主要有：微软的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相机等。这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用，最典型的就是微软的Kinect 2。 TOF深度相机对时间测量的精度要求较高，即使采用最高精度的电子元器件，也很难达到毫米级的精度。因此，在近距离测量领域，尤其是1m范围内，TOF深度相机的精度与其他深度相机相比还具有较大的差距，这限制它在近距离高精度领域的应用。 但是，从前面的原理不难看出，TOF深度相机可以通过调节发射脉冲的频率改变相机测量距离；TOF深度相机与基于特征匹配原理的深度相机不同，其测量精度不会随着测量距离的增大而降低，其测量误差在整个测量范围内基本上是固定的；TOF深度相机抗干扰能力也较强。因此，在测量距离要求比较远的场合（如无人驾驶），TOF深度相机具有非常明显的优势。 |
