具有多个邻接树和多尺度特征的语义图像分割方法

语义图像分割是图像理解的基础,是人类最重要的认知活动之一。 认知研究表明,人类新皮层信息的传递依赖于多尺度的认知过程,而上下文信息则有助于人类认知系统解决感知推理任务。 受多尺度认知机制和上下文效应的启发,本文提出了一种针对多尺度特征和上下文信息的语义图像分割方法。 为了集成多尺度特征,在将图像过度分割成小尺度片段之后,我们采用基于片段的分类器和CRF(条件随机场)模型来生成大尺度区域。 然后,我们使用区域的特征来训练基于区域的分类器。 为了捕获上下文,我们提出了一个多邻接树模型,其中每棵树代表一种类型的区域相关性,并且可以由与该相关性度量相对应的邻接图生成。 使用多树模型而不是通用图模型,我们可以通过一些简单的假设进行精确推断,并捕获多种类型的区域上下文相关性。 在MSRC-21和Stanford背景数据集上进行的实验表明,与使用单尺度特征的基于段的CRF模型相比,我们的方法具有优势。 结果证明了多尺度特征和上下文信息的重要性。