一种跨模态检索方法及系统

本发明适用于检索技术领域，提供了跨模态检索方法，包括采用堆叠式受限玻尔兹曼机和多模态深度置信网络提取图像和文本各自的模态友好型特征和模态相互型特征，模态友好型特征能够使所获得的特征之间的统计特性方面与输入的更相似，模态相互型特征能够得到在原始输入实例中丢失的相互信息，将两种特征进行融合得到混合特征，通过多个双模态自动编码获得最后的共享特征。本发明实施例利用堆叠式的受限玻尔兹曼机提取各个模态的内部特征，采用深度置信网络挖掘模态之间丢失的相互信息，将两种特征进行融合，构造出适合进行跨模态检索的混合特征，利用多层双模态的自动编码网络挖掘跨模态的复杂信息，有效提高了跨模态检索任务的准确性和检索的速度。