基于知识蒸馏的多层神经网络语言模型训练方法与装置
注:上述费用仅包含专利权利转让费用,不包含专利年费或因年费未及时缴纳产生的滞纳金、恢复费。专利年费是专利权人依照专利法规定,自被授予专利权的当年开始,在专利权有效期内逐年应向专利局缴纳的费用。由于出售的专利类型、专利年限以及专利权人是否满足国家费用减缓的条件均会影响具体年费金额,需根据购买专利的实际情况进行缴纳。缴纳年费以及滞纳金、恢复费需单独和平台顾问确认且不属于下单后加价行为,故无法适用保障。
专利申请号:
CN202010322267.8
专利类型:
发明专利
技术分类:
G06F16/35
专利有效期:
2040-04-22
友情提示:该资源未保障“真” “价”,付款前请核实资源真实性与价格。
在线咨询
微信扫码邀请顾问协助
- 该资源已获得保障和赔付:
- 转让不成功退款退
- 转让超期必赔时
- 该资源未获得保障和赔付:
- 资源不保真必赔真
- 下单后加价必赔价
专利信息
专利名称:基于知识蒸馏的多层神经网络语言模型训练方法与装置
商品编号:5110641
复制
申请日期:2020-04-22
公开/公告号:CN111611377A
授权公告日/公开日:2020-09-01
申请/专利权人:
淮***院
发明/设计人:
高尚***正伟
主分类号:G06F16/35
IPC分类号:G06F16/35; G06F40/289; G06F40/30; G06F40/211; G06N3/04; G06N3/08; G06N5/02
说明书摘要免费下载摘要
本发明公开了一种基于知识蒸馏的多层神经网络语言模型训练方法与装置,该方法首先构建BERT语言模型和多层BILSTM模型作为教师模型和学生模型,其中所构建的BERT语言模型中有六层transformer,多层BILSTM模型中有三层BILSTM网络;然后将文本语料集进行预处理后,对BERT语言模型进行训练得到训练好的教师模型;再基于知识蒸馏技术将预处理后的文本语料集输入到多层BILSTM模型训练学生模型,在学习教师模型中的嵌入层、隐藏层以及输出层之时,通过线性变换将不同空间表示进行计算。基于训练好的学生模型,可将文本进行向量转换,进而训练下游网络更好地进行文本分类。本发明可以有效提升文本预训练效率以及文本分类任务的精确度。
转让流程
提出需求
提出您的专利需求
顾问一对一服务
顾问一对一服务
顾问匹配
顾问匹配资源库
快速确定优质专利
快速确定优质专利
签订合同
签订专利转让协议
成功付款
成功付款
递交申请
准备转让资料
国知局审查办理
国知局审查办理
领取证书
获得专利权,投入使用
所需资料
买方提供资料
个人身份证
公司或个体营业执照
购买后获得证书
专利证书
专利登记簿副本
手续合格通知书
平台优势
常见问题
购买专利需要什么资料?
基于知识蒸馏的多层神经网络语言模型训练方法与装置专利,专利类型:发明授权,技术分类是:G06F16/35,购买基于知识蒸馏的多层神经网络语言模型训练方法与装置专利,需要申请人和发明人的基础信息,还需提供基于知识蒸馏的多层神经网络语言模型训练方法与装置专利的详细信息。
专利交易转让时间是多久?
专利权转让期限一般是2~6个月的时间获得专利转让通知书,在转让之前双方需要签订转让合同即可,基于知识蒸馏的多层神经网络语言模型训练方法与装置专利具体的操作步骤,可以联系八戒数字交易的客服一对一服务。
相似专利
换一换