3.3 直接深度成像

借助一些特殊的成像设备可直接采集深度图，常用的方法有飞行时间法（飞点测距法）、结构光法、莫尔（Moiré）等高条纹法、全息干涉测量法、几何光学聚焦法、激光雷达法（包括扫描成像和非扫描成像）、Fresnel衍射技术等。几种常用的深度图采集方法可能达到的测距精度和最大工作距离如表3-2所示。

表3-2 几种常用的深度图采集方法可能达到的测距精度和最大工作距离

3.3.1 飞行时间法

飞行时间法采用雷达测距的原理，通过测量光波从光源发出并经被测物体反射后回到传感器所需的时间，就可以获得距离信息。一般将光源和传感器安装在相同的位置，这样传播时间t与被测距离d的关系为

其中，c为光速（在真空中为3×10⁸m/s）。

基于飞行时间的深度图获取方法是一种典型的通过测量光波传播时间获得距离信息的方法。因为一般使用点光源，所以也称为飞点测距法。要获得2D图像，需要利用光束进行2D扫描或使被测物体进行2D运动。这种方法测距的关键是精确地测量时间，光速按3×10⁸m/s计算，如果要求空间距离分辨率为0.001m（能够区分空间上相距0.001m的两个点或两条线），则时间分辨率需要达到6.6×10^-12 s。

1.脉冲间隔测量法

这种方法利用脉冲间隔测量时间，通过测量脉冲波的时间差实现，其基本原理框图如图3-2所示。脉冲激光源发射的特定频率激光经光学透镜和光束扫描镜射向前方，在接触物体后反射，反射光被另一光学透镜接收，并经光电转换后进入时差测量模块。时差测量模块同时接收脉冲激光源直接发射的激光，并测量发射脉冲和接收脉冲的时间差。根据时间差，利用式（3-1）就可算得待测距离。这里要注意，激光的起始脉冲和回波脉冲在工作距离范围内不能有重叠。

利用上述原理，将脉冲激光源换成超声波也可进行测距。超声波不仅可在自然光照下工作，也可在水中工作。因为声波的传播速度较慢，所以对时间测量的精度要求相对较低；但由于介质对声波的吸收一般较大，所以对接收器的灵敏度要求较高。另外，由于声波的发散较大，所以不能得到分辨率很高的距离信息。

2.幅度调制的相位测量法

时间差的测量也可借助测量相位差进行。一种典型方法是幅度调制的相位测量法，其基本原理框图如图3-3所示。对连续激光源发射的激光以一定频率的光强进行幅度调制，并将其分两路发出。一路经光学扫描系统射向前方，在接触物体后反射，反射光经过滤波取出相位；另一路进入相位差测量模块与反射光进行相位比较。因为相位以2π为周期，测得的相位差范围为0～2π，所以深度测量值d为

其中，c为光速；f_mod为调制频率；θ为相位差（单位是rad）；k为整数。

对测量深度范围加以限制（限定k的取值），就可克服深度测量值可能存在的多义性。式（3-2）中引入的r可称为测量尺度，r越小，距离测量精度越高。为获得较小的r，应采用较高的f_mod。

3.频率调制的相干测量法

对于连续激光源发射的激光，可以用一定频率的线性波形进行频率调制。设激光频率为F，调制频率为f_mod，调制后的激光频率在F±ΔF/2之间呈现线性周期变化（其中，ΔF为激光频率在受调制后的频率变化）。将调制激光的一部分作为参考光，另一部分投向被测物体，光在接触物体后反射再被接收器接收。两个光信号相干产生拍频信号f_B，它等于激光频率变化的斜率与传播时间的乘积：

将式（3-1）代入式（3-3）并求解d得到

再借助发出光波和返回光波的相位变化

又得到

比较式（3-4）和式（3-6），得到相干条纹数N（也是调制频率半周期中的拍频信号过零数）：

在实际应用中，可通过标定，即根据准确的参考距离d_ref和测得的参考相干条纹数N_ref，利用式（3-8）计算实际距离（通过对实际相干条纹数进行计数）：

3.3.2 结构光法

结构光法是一类常用的主动传感、直接获取深度图的方法，其基本思想是利用照明中的几何信息来提取物体的几何信息。结构光测距成像系统主要由摄像机和光源两部分构成，它们与被观察物体排成一个三角形。光源产生一系列点/线激光并照射到物体表面上，由对光敏感的摄像机将照亮部分记录下来，再通过三角计算来获得深度信息，所以结构光法也称为主动三角测距法。结构光法的测距精度可达微米（μm）级，而可测量的深度场范围可达到米（m）级。

利用结构光成像的具体方式很多，包括光条法、栅格法、圆形光条法、交叉线法、厚光条法、空间编码模板法、彩色编码条法、密度比例法等。由于它们所用的投射光束的几何结构不同，所以摄像机的拍摄方式和深度的计算方法也不同，但共同点是都利用了摄像机和光源之间的几何结构关系。

在基本的光条法中，使用单个光平面依次照射物体各部分，使物体上出现一个光条，并且使此光条部分仅可被摄像机检测到。这样每次照射都可得到一个2D的光平面图，再通过计算摄像机视线与光平面的交点，就可以得到光条上可见像点所对应空间点的第三维（距离）信息。

1.结构光成像

在利用结构光成像时，摄像机和光源要先标定好。图3-4所示为结构光几何成像示意，这里给出镜头所在的与光源垂直的XZ平面（Y轴由纸内向外，光源是沿Y轴的条）。通过窄缝发射的激光从世界坐标系原点O照射到空间点W（在物体表面）上产生线状投影，摄像机光轴与激光束相交，这样摄像机可采集线状投影，从而获取点W处的距离信息。

在图3-4中，F和H确定了镜头中心在世界坐标系中的位置，α是光轴与投影线的夹角，β是z轴和Z轴间的夹角，γ是投影线与Z轴间的夹角，λ为摄像机焦距，h为成像高度（成像偏离摄像机光轴的距离），r为镜头中心到z轴与Z轴交点的距离。由图3-4可见，光源与物体的距离Z为s与d之和，其中s由系统决定，d可由式（3-9）求得

将tanα=h/λ代入，可将Z表示为

式（3-10）把Z与h联系起来（其余参数均为系统参数），提供了根据成像高度求距离的途径。由此可见，成像高度中包含了3D的深度信息，或者说深度是成像高度的函数。

2.成像宽度

结构光成像不仅能给出空间点的距离Z，同时也能给出沿Y方向的物体厚度。这时可借助从摄像机底部向上观察得到的顶视平面来分析成像宽度，如图3-5所示。

图3-5给出由Y轴和镜头中心确定的平面，其中w为成像宽度：

其中，t为镜头中心与W点在Z轴上的垂直投影之间的距离（参见图3-4）：

而λ′为镜头中心沿z轴到成像平面的距离（参见图3-4）：

将式（3-12）和式（3-13）代入式（3-11）得到

这样就将物体厚度Y与成像高度、系统参数和物距联系起来了。

3.3.3 莫尔等高条纹法

当两个光栅呈一定的倾角且有重叠时可以形成莫尔等高条纹，用一定方法获得的莫尔等高条纹的分布可包含物体表面的距离信息。

1.基本原理

在利用投影光将光栅投影到物体表面上时，表面的起伏会改变投影像的分布。如果令这种变形的投影像在由物体表面反射后再经过另一个光栅，则可获得莫尔等高条纹。根据光信号的传递原理，上述过程可描述为光信号经过二次空间调制的结果。如果两个光栅均为线性正弦透视光栅，并且定义光栅周期变化的参量为l，则观察到的输出光信号为

其中，f_i为光强；m_i为调制系数；θ_i（i=1，2）为由物体表面起伏变化导致的相位变化；w_i（i=1，2）为由光栅周期决定的空间频率。在式（3-15）中，对应光信号经过的第一个光栅的调制函数，对应光信号经过的第二个光栅的调制函数。

式（3-15）的输出信号f（l）中有4个空间频率的周期变量，分别为w₁、w₂、w₁+w₂、w₁-w₂。由于探测器的接收过程对空间频率起了低通滤波的作用，所以莫尔等高条纹的光强可表示为

如果两个光栅的周期相同，则有

可见，光源与物体表面的距离信息直接反映在莫尔等高条纹的相位变化中。

2.基本方法

图3-6给出莫尔等高条纹法测距示意。光源和视点之间的距离为D，它们到光栅G的距离相同，均为H。光栅为黑白交替（周期为R）的透射式线条光栅。按图3-6中的坐标系，光栅面在XY平面上，被测高度沿Z轴，具体坐标用（x，y，z）表示。

考虑被测面上坐标为（x，y）的一点A，光源通过光栅对它的照度是光源强度（光强）和光栅在A*点的透射率的乘积。该点的光强分布为

其中，n为奇数；C₁为与强度有关的常量。T再一次通过光栅G相当于又经过一次在点A′处的透射调制，A′处的光强分布为

其中，m为奇数；C₂为与强度有关的常量。最后在视点接收到的光强是两个分布的乘积：

将式（3-20）用多项式展开，经过接收系统的低通滤波，可得到一个只含有变量z的部分和：

其中，n为奇数；B为莫尔等高条纹的背景强度；S为条纹对比度。式（3-21）给出了莫尔等高条纹的数学描述。一般只取n=1的基频项即可近似描述莫尔等高条纹的分布情况，即式（3-21）可简化为

由式（3-22）可知：

（1）亮条纹位于相位项等于2π整数倍的地方，即

（2）任意两亮条纹间的高度差不相等，所以不能用条纹数来确定高度，只能计算相邻两亮条纹间的高度差；

（3）如果能得到相位项θ的分布，则可得到被测物表面的高度分布：

3.改进方法

上述基本方法需要使用与被测物体大小相当的光栅（如图3-6中的G），这给光栅使用和制造带来不便。一种改进的方法是将光栅装在光源的投影系统中，利用光学系统的放大能力获得大光栅的效果。具体来说，就是将两个光栅分别安放在接近光源和视点的位置，光源通过光栅将光束透射出去，而视点在光栅后成像。这样，光栅的尺寸就只需与相机镜头的尺寸相近就可以了。

在实际应用中，利用投影原理的莫尔等高条纹法测距示意如图3-7所示。其中使用了两套参数相同的成像系统，它们的光轴平行，以相同的成像距离分别对两个间距相同的光栅进行几何成像，并使两个光栅的投影像重合。

设在光栅G₂后面观察莫尔等高条纹，用G₁做投影光栅，则投影系统L₁的投射中心O₁和接收系统L₂的会聚中心O₂分别等效于基本方法中的光源点S和视点W。这样，只要用MR取代式（3-22）和式（3-24）中的R（M=H/H₀，为光路的成像放大率），就可如上描述莫尔等高条纹的分布，并计算被测物表面的高度分布情况。

在实际应用中，投影系统L₁前的光栅可以省掉，而用计算机软件来实现它的功能，此时包含被测物表面深度信息的投影光栅图像直接被摄像机接收。

由式（3-24）可知，如果能得到相位项θ的分布，就可得到被测物表面高度Z的分布。而相位的分布可利用多幅有一定相移的莫尔图像获得，这种方法常简称为相移法。以用3幅图像为例，在获得第1幅图像后，将投影光栅水平运动R/3距离，然后获取第2幅图像，再将投影光栅水平运动R/3距离，然后获取第3幅图像。参照式（3-22），这3幅图像可表示为

联立解得

这样就可以逐点计算得到θ。

3.3.4 同时采集深度和亮度图像

有的成像系统可以同时获取场景中的深度信息和亮度信息，一个例子是使用LIDAR，如图3-8所示。由安放在可以进行仰俯运动和水平扫视运动的平台（云台）上的装置发射与接收幅度调制的激光波（参见3.3.1节的飞行时间法），对于3D物体表面上的每个点，比较发射到该点的波与从该点发射并被接收的波以获取信息。该点的空间坐标X、Y与平台的仰俯运动和水平运动有关，其深度Z则与相位差密切相关，而该点对于给定波长激光的反射特性可借助波的幅度差来确定。这样LIDAR就可同时获得两幅配准了的图像，一幅是深度图，另一幅是亮度图像。注意深度图的深度范围与激光波的调制周期有关，设调制周期为λ，则每隔λ/2又会算得相同的深度，所以需要对深度测量范围进行限制。LIDAR的工作方式与雷达相似，都可以测量传感器与场景中特定点之间的距离，只是雷达反射的是电磁波。

与CCD采集设备相比，由于要针对每个3D表面点计算相位，因此LIDAR的采集速度是比较慢的。另外，由于对机械装置的要求比较高（需要导引激光束），所以LIDAR的成本也较高。但在采矿机器人上或在探测太阳系其他星球的机器人时使用LIDAR是值得的^[7]。