处理多种先验知识的自适应视频目标分割方法

本发明公开了处理多种先验知识的自适应视频目标分割方法。本发明方法首先对含目标掩膜及描述语句的视频进行采样，并利用时空编码器获得时空视觉特征图；然后构建目标先验自适应编码器，将不同形式的先验知识统一编码为目标卷积核；再通过级联目标过滤器使用目标卷积核将时空视觉特征图中的目标与背景相分离，得到目标的概率张量；最后利用Adam算法优化分割网络模型，对包含先验知识的新视频依次通过上述步骤获得目标的预测掩膜。本发明方法提供了端到端的训练模型，既能自适应处理给定的目标掩膜或描述语句等先验知识，还能有效刻画目标先验知识与视频帧外观特征之间的时空关系，有利于更为准确高效地分割视频的重要目标。