计算对应的像素

[poster]

我的计算机视觉设置了两个摄像头。这种相机之一是飞行时间相机。它给了我每个像素的景深。另一台相机是标准相机，可为我提供场景的彩色图像。

我们想使用深度信息从彩色图像中删除一些区域。我们计划对彩色图像中的对象，人和手进行跟踪，并希望借助飞行时间相机来去除较远的背景像素。尚不确定相机是否可以平行设置对齐。

我们可以使用OpenCv或Matlab进行计算。

我阅读了很多有关整流，极极几何等方面的文章，但是我仍然很难理解为每个像素计算对应度所必须采取的步骤。

您将使用哪种方法，可以使用哪些功能。您将按什么步骤划分问题？某个地方有教程或示例代码吗？

更新我们计划使用场景中放置的已知标记进行自动校准


回答：
如果您需要可靠的对应关系，则应考虑SIFT 。 MATLAB中有几种实现-我使用Vedaldi-Fulkerson VL Feat库 。

如果您确实需要快速的性能（我认为您不需要），则应考虑使用OpenCV的SURF检测器。

如果还有其他问题，请询问。 我的其他答案可能很有用。

PS：通过通信，我假设您想在两个图像上找到同一3D点的投影坐标-即图像A中像素u_A和图像B中u_B的坐标(i,j)为3D中相同点的投影。



更多&回答...