一种融合文本信息的GIF短视频情感识别方法及系统

本发明公开了一种融合文本信息的GIF短视频情感识别方法及系统，该方法首先利用3D卷积神经网络提取出GIF短视频中序列特征，同时利用卷积神经网络提取出序列中图像视觉特征；再采用卷积长短时记忆递归神经网络技术解码二者融合后的高层语义特征，计算出情感分类概率分布矩阵，将进行区间映射得到视频部分的情感得分。接着，从注释文本中的单词筛选出蕴含情感信息的词汇，采用情感打分工具计算出文本情感得分。最后，将视频情感得分与文本情感得分赋予不同的权重相加并做有效性判别，对GIF短视频进行情感分类。本发明能有效关注GIF视频中图像的情感信息，同时兼顾视频流的时序特征，并且文本信息与视频信息融合，提高了GIF视频情感分类的准确度和鲁棒性。