通过深度神经网络进行无监督视频散列

通过将高维特征向量编码为短二进制代码,哈希是基于内容的多媒体检索的常见解决方案。 先前的工作主要集中在图像哈希问题上。 但是,这些方法不能直接用于视频哈希处理,因为视频不仅包含每个帧内的空间结构,而且还包含连续帧之间的时间相关性。 一些研究人员提议通过对提取的关键帧进行编码来解决此问题,但是这些基于帧的方法在实际应用中非常耗时。 其他研究人员建议通过平均帧的空间特征来表征视频,然后可以采用现有的哈希方法。 不幸的是,“视频”特征的种类没有考虑帧之间的相关性,并且可能导致时间信息的丢失。 因此,在本文中,我们提出了一种通过深度神经网络的新型无监督视频散列框架,该框架通过结合时间结构和常规空间结构来执行视频散列。 特别地,利用卷积神经网络获得视频的空间特征,并通过长期短期记忆建立时间特征。 之后,采用时间序列合并策略为每个视频获取单个特征向量。 所获得的时空特征可以应用于许多现有的无监督哈希方法。 在两个真实数据集上的实验结果表明,通过使用时空特征,我们的哈希方法显着提高了仅部署空间特征的现有方法的性能,并且与最新技术相比具有更高的平均平均精度视频哈希方法。