时空压缩激励残差乘法网络的视频动作识别

针对双流网络结构中浅层网络和一般深度模型学习空间信息和时间信息的不足,提出将压缩激励残差网络用于空间流和时间流的动作识别,同时将恒等映射核作为时间滤波器注入网络中捕获长期时间依赖性。为了进一步加强压缩激励残差网络的空间信息和时间信息之间的交互,采用时空特征相乘融合,并研究空间流和时间流乘法融合方式、次数以及位置对识别性能的影响。鉴于单个模型获得性能的局限性,提出了3种不同的策略生成多个模型,并使用直接平均与加权平均集成以得到最终识别结果。HMDB51和UCF101数据集上的实验结果表明,所提时空压缩激励残差乘法网络能够有效提升动作识别性能。