基于通道信息融合和组群关系空间结构化建模的组群行为识别方法

本发明提出一种基于通道信息融合和组群关系空间结构化建模的组群行为识别方法；首先将待识别视频分段并等距离采样若干帧，通过改进的STM网络模块提取包含时空与运动信息的融合特征；然后将每帧的融合特征进行帧内区域划分和高维映射，形成图结构数据；最后通过包含核心组群关系演化模型的图卷积‑LSTM网络，整合出全局行为判别特征和局部行为判别特征作为组群行为描述符来判别行为分类，通过softmax得到最终的行为标签；本方案加入通道选择模块来融合空间和运动特征，以同时提取包含空间和运动信息的特征表示，增强特征的关联性；结合组群关系空间结构化建模，保证提取时空信息特征的的完整性和全面性，并重点考量了对行为判别起到决定性作用的组群交互关系这一关键对象，可有效的提高识别精度。