stereo from mono:[ECCV 2020]使用单眼深度估计网络从单个图像学习立体 源码

( ,奥达( ,托夫( ,( 和( – ECCV 2020(口头报告) 受监督的深层网络是在立体图像对中找到对应关系的最佳方法之一。 像所有监督方法一样,这些网络在训练期间需要地面真实数据。 但是,收集大量准确而密集的对应数据非常具有挑战性。 我们建议,不必高度依赖地面真实深度甚至对应的立体声对。 受单眼深度估计的最新进展启发,我们从单个图像生成了合理的视差图。 反过来,我们在精心设计的管道中使用那些有缺陷的视差图生成立体声训练对。 以这种方式进行训练可以将任何单个RGB图像集合转换为立体声训练数据。 这样就大大减少了工作量,而无需收集实际深度或手工设计合成数据。 因此,我们可以从头开始在像COCO这样的数据集上训练从头开始的立体声匹配网络,这些数据以前很难用于立体声。 通过广泛的实验,我们证明了在KITTI,ETH3D和Middlebury上进行评估时,我们的方法优于使用标