1.2.4 困难

使机器具有“看”的能力不是一件容易的事情。那么，机器视觉的研究有哪些困难？对于这个问题，可从以下6个方面来理解。

1）在3D向2D转换过程中损失信息。在相机或者人眼图像获取过程中，会出现3D向2D转换过程中的信息损失。这由针孔模型来近似或者透镜成像模型决定，在成像过程中丢失了深度信息。在投影变换过程中，会将点沿着射线作映射，但不保持角度和共线性。

2）解释。人类可以自然而然地对图像进行解释，而这一任务却是机器视觉要解决的难题之一。当人们试图理解一幅图像时，以前的知识和经验就会起作用，人类的推理能力可将长期积累的知识用于解决新的问题。赋予机器理解能力是机器视觉与人工智能的学科研究者不断努力的目标。

3）噪声。真实世界中的测量都含有噪声，这就需要使用相应的数学工具和方法对含有噪声的视觉感知结果进行分析与处理，从而较好地复原真实视觉数据。

4）大数据。需要处理的图像数据是巨大的，视频数据相应会更大。虽然技术上的进步使得处理器和内存不足已经不再是问题，但是，数据处理的效率仍然是一个重要的问题。

5）亮度测量。在成像传感时，用图像亮度近似表示辐射率。辐射率依赖于辐照度（辐照度与光源类型、强度和位置有关）、观察者位置、表面的局部几何性质和表面的反射特性等。其逆任务是病态的，比如由亮度变化重建局部表面方向。通常病态问题的求解是极其困难的。

6）局部窗口和对全局视图的需要。通常，图像分析与处理的是其中的局部像素，也就是说通过小孔来看图像。通过小孔看世界很难实现全局上下文的理解。20世纪80年代，McCarthy指出构造上下文是解决推广性问题的关键一步，而仅从局部来看或只有一些局部小孔可供观察时，解释一幅图像通常是非常困难的。