4.3 运动信息检测

相对于静止图像，运动变化是视频特有的。检测视频中的运动信息（确定是否有运动、哪些像素和区域有运动、运动的速度和方向情况如何）是许多视频图像处理和分析工作的基础。

在视频运动检测中，需要区分前景运动和背景运动。本节先讨论全局运动检测，第5章再讨论局部运动检测。

4.3.1 基于摄像机模型的运动检测

因为由摄像机运动导致的场景整体运动变化是比较有规律的，所以可借助摄像机运动模型来进行检测。该模型主要用来建立相邻帧之间的联系，即摄像机运动前后的像素空间坐标之间的联系。在对模型参数进行估计时，首先从相邻帧中选取足够多的观测点，接着用一定的匹配算法求出这些点的观测运动矢量，最后用参数拟合的方法估计模型参数。

1.摄像机运动类型

摄像机的运动有多种类型，可参考图4-7。假设将摄像机放置在3D空间坐标系的原点处，镜头光轴沿Z轴，空间点P（X，Y，Z）成像在像平面点p（x，y）处。摄像机可以有分别沿3个坐标轴的平移运动，其中沿X轴的运动称为平移/跟踪运动，沿Y轴的运动称为升降运动，沿Z轴的运动称为进退/推拉运动；摄像机还可以有分别绕3个坐标轴的旋转运动，其中绕X轴的旋转运动称为倾斜运动，绕Y轴的运动称为扫视运动，绕Z轴的运动称为（绕光轴）旋转运动。另外，摄像机镜头焦距的变化也会导致视场的变化，称为变焦运动或缩放运动。缩放运动可以划分为两种类型，一种是放大镜头，用于将摄像机对准/聚焦感兴趣的目标；另一种是缩小镜头，用于给出一个场景逐步由细到粗的全景展开过程。

总结一下，摄像机的运动共有6种类型：①扫视，即摄像机水平旋转；②倾斜，即摄像机垂直旋转；③变焦，即摄像机改变焦距；④平移/跟踪，即摄像机水平（横向）移动；⑤升降，即摄像机垂直（竖向）移动；⑥进退/推拉，即摄像机前后（水平）移动。这6种运动类型可以综合构成3类操作：平移操作、旋转操作、缩放操作。

要描述由这些类型的摄像机运动导致的空间坐标变化，需要建立仿射变换模型。对于一般的应用，常采用线性的6参数仿射模型：

仿射模型属于线性多项式参数模型，在数学上比较容易处理。为了提高全局运动模型的描述能力，还可以在6参数仿射模型的基础上进行一些扩展，如在模型的多项式中加入二次项xy，则可得到8参数双线性模型：

基于双线性模型的全局运动矢量检测可如下进行。要对双线性模型的8个参数做出估计，需要求出一组（大于4个）运动矢量观测值（这样可得8个方程）。在获取运动矢量观测值时，考虑到全局运动中的运动矢量值常比较大，可以将整幅图像划分为一些正方形小块（如16×16），然后用块匹配法求取块中的运动矢量，并用4.2节中讨论的运动矢量场表达来显示。

2.运动摄像机

从视频中还可以获得深度信息。当使用一个摄像机先后以多个位姿采集一系列图像时，同一个3D空间点会分别对应不同帧像平面上的坐标点而产生视差。这里，可将摄像机的运动轨迹看作基线，如果匹配先后采集到的两幅图像中的特征，就有可能获得深度信息。这种方式也称为运动立体。

当摄像机运动时（这也相当于主动视觉中的情况），目标点横向移动的距离既依赖X又依赖Y。为简化问题，可使用目标点到摄像机光轴的径向距离R（R²=X²+Y²）来表示。

要利用摄像机运动计算视差，可参见图4-9，其中图4-9（b）是图4-9（a）的一个剖面。

两幅图像中的像点径向距离分别为

则视差为

令基线B=Z₁-Z₂，并假设B＜＜Z₁，B＜＜Z₂，则可得到（取Z²=Z₁Z₂）

令R₀≈（R₁+R₂）/2，可借助R/Z=R₀/λ得到

最终可推出目标点的深度为

可将式（4-17）与式（3-29）进行比较，这里视差依赖像点与摄像机光轴间的（平均）径向距离R₀，而在式（3-29）表示的情况中，视差是独立于径向距离的。再将式（4-18）与式（3-30）进行比较，这里无法给出光轴上目标点的深度信息，而对于其他目标点，深度信息的准确性依赖径向距离的大小。

现在再看一下测距精度。由式（3-30）可知，深度信息与视差相关，而视差又与成像坐标有关。设x₁产生了偏差e，即x_1e=x₁+e，则有d_1e=x₁+e+|x₂|-B=d+e，距离偏差为

将式（3-29）代入式（4-19）得到

最后一步是考虑一般情况下当Z>>λ时的简化。由式（4-10）可见，测距精度与摄像机焦距、摄像机间的基线长度、物距都有关系。焦距越长，基线越长，精度就越高；物距越大，精度就越低。在实际应用中，等效基线一般很短，因为系列图像中的目标几乎都是从相同的视角拍摄的。

4.3.2 频域运动检测

前述建模方法能够在图像空间中检测各种运动的综合变化。借助傅里叶变换可把对运动的检测工作转到频域中进行。频域运动检测的好处是可以较方便地分别处理平移、旋转和尺度变化。

1.对平移的检测

假设在时刻t_k像素的位置为（x，y），在时刻t_k+1像素的位置移动到（x+dx，y+dy）。一般假设在这段时间内像素自身灰度保持不变，则可得到

根据傅里叶变换的性质，有

借助平移性质可得到

式（4-24）表明两幅图像的傅里叶变换的相位角之差为

考虑到傅里叶变换的分离性，可由式（4-25）分别得到

在式（4-26）和式（4-27）中，dθ_x（u）和dθ_y（v）分别为f（x，y，t_k）和f（x，y，t_k+1）在X轴和Y轴上投影的傅里叶变换的相位角之差。由于相位角的不唯一性，在计算dθ_x（u）和dθ_y（v）时，可采用下列方法。设dx的变化范围满足

其中，K为正常数；L_x为X方向上的像素数。将u=K/L_x代入式（4-9），对dθ_x（u）取绝对值，由式（4-28）得到

在式（4-29）的限制条件下，将f（x，y，t_k）和f（x，y，t_k+1）在X轴和Y轴上投影的傅里叶变换的相位角各加上2π的整数倍，就可得到dθ_x（u）的唯一值。

2.对旋转的检测

对旋转的检测可借助傅里叶变换后得到的功率谱进行，因为图像中的直线模式（如直的边缘）在傅里叶变换后的功率谱中对应过频谱原点的直线模式，而旋转前后的两个直线模式是相交的。

具体来说，可对f（x，y，t_k）和f（x，y，t_k+1）分别进行傅里叶变换，并计算它们的功率谱：

进一步，在P_k（u，v）和P_k+1（u，v）中分别搜索对应的过原点的直线模式，如L_k和L_k+1。将L_k投影到P_k+1（u，v）上，这个投影与L_k的夹角就是目标旋转的角度。

3.对尺度变化的检测

对尺度变化的检测也可借助傅里叶变换后得到的功率谱进行。图像空间的尺度变化对应傅里叶变换域中频率高低的变化。当图像空间中目标的尺寸变大时，频域中功率谱的低频分量会增加；当图像空间中目标的尺寸变小时，频域中功率谱的高频分量会增加。

具体来说，就是先获得f（x，y，t_k）和f（x，y，t_k+1）傅里叶变换后的功率谱，然后在P_k（u，v）和P_k+1（u，v）中分别搜索方向相同的直线模式L_k和L_k+1，并将L_k投影到P_k+1（u，v）上，得到。测量和L_k+1的长度，分别为和|L_k+1|。尺度变化可用下式表示：

如果S＜1，表明从时刻t_k到t_k+1，目标图像尺寸增大为原始尺寸的S倍；如果S>1，表明从时刻t_k到t_k+1，目标图像尺寸减小为原始尺寸的1/S。

4.3.3 运动方向检测

在很多应用中，需要确定某些特定的运动模式，此时可结合使用基于图像的信息和基于运动的信息。运动信息可通过确定先后采集的图像之间的特定偏差来获得。为提高精度和充分利用空间分布信息，通常先将图像分块，然后基于具有时间差的两个移动图像块（一个在时刻t采集，另一个在时刻t+dt采集）进行计算。

运动的方向可借助下面4种差图像计算：

其中，箭头代表图像移动的方向，如↓代表I_t+dt是I_t向下移动的结果。

运动的幅度可借助对图像块区域求和得到，求和可借助积分图像快速计算。

积分图像（常称为积分图）是图像全局信息的一种矩阵表达方法。在积分图中，（x，y）处的I（x，y）值表示原始图像f（x，y）中该位置左上方所有像素值的总和：

借助循环，仅对图像扫描一次就可完成积分图的构建：

（1）令s（x，y）代表一行像素的累积和，s（x，-1）=0；

（2）令I（x，y）是一幅积分图，I（-1，y）=0；

（3）对整幅图像进行逐行扫描，借助循环对每个像素（x，y）计算该像素所在行的s（x，y）及I（x，y）：

（4）在完成对整幅图像的一次逐行扫描（到达右下角的像素）后，积分图I（x，y）就构建好了。

如图4-10所示，利用积分图，任意矩形的和都可借助4个参考数组来计算。对于矩形D，计算公式如下：

其中，I（α）是积分图在点α的值，即矩形A中像素值的和；I（β）是矩形A和B中像素值的和；I（γ）是矩形A和C中像素值的和；I（δ）是矩形A、B、C、D中像素值的和。所以，两个矩形之间差的计算需要8个参考数组。在实际应用中可建立查找表，借助查表完成计算。

在目标检测和跟踪中常会用到Haar矩形特征，如图4-11所示，可借助积分图通过将有阴影矩形从无阴影矩形中减去的方式实现快速计算。如对于图4-11（a）和图4-11（b），只需查表6次；对于图4-11（c），只需查表8次；对于图4-11（d），只需查表9次。