SuPix:使用超像素修复的活检图像自我监督表示学习模型 源码

SuPix 使用超像素修复技术对人十二指肠活检图像进行自我监督的表示学习模型。 在这种方法中,我们针对目标修补和弹性变形设计了一种新颖的复合借口任务。 最初在少量标记数据上训练了完全受监督的模型。 该模型用于生成未标记活检图像中重要解剖区域的伪标记。 如本文所述,其中一些区域被随机遮罩,并且使用弹性变形使整个图像变形 训练一个编码器/解码器对,以使用SSIM损失重建蒙版的变形图像。 因此,该模型学习了不同重要组织(例如上皮细胞,隐窝和绒毛)的形状和H&E色斑分布的表示形式。 然后,在一个小的标记图像子集上对该模型进行微调,以进行语义分割。 表征学习的可视化