MDANet_ICRA2021:ICRA 2021“ MDANet 源码

深度完成的多模态深度汇聚网络 这是MDANet(ICRA 2021)的官方PyTorch实施,MDANet是用于深度完成的有效网络。 介绍 深度补全旨在分别从稀疏深度数据和RGB图像中恢复密集深度图。 然而,由于多模态信号输入之间的巨大差异,香草卷积神经网络和简单的融合策略无法从稀疏数据中提取特征并有效地汇总多模态信息。 为了解决这个问题,我们设计了一种新颖的网络体系结构,该体系结构充分利用了多模式功能来进行深度完成。 首先提出了一种有效的预完成算法,以提高输入深度图的密度并提供先验分布。 此外,为了有效融合图像特征和深度特征,我们提出了一种多模式深度聚集块,该块由多个连接和聚集路径组成,以实现更深层融合。 此外,基于直觉语义图像特征有利于准确轮廓的直觉,我们引入了可变形的引导融合层来指导密集深度图的生成。 最终的架构称为MDANet,其性能优于流行的KITTI深度完成基准测试中的所有最新