龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：北京百度网讯科技有限公司
申请日：2023-05-31
公开（公告）日：2024-05-17
公开（公告）号：CN116611477B
主分类号：G06N3/0464
分类号：G06N3/0464;G06N3/0455;G06N3/082
优先权：
专利状态码：有效-授权
法律状态：2024.05.17#授权;2023.09.05#实质审查的生效;2023.08.18#公开
摘要：本公开提供了一种数据剪枝方法和序列模型的训练方法、装置、设备和介质，涉及人工智能领域，具体涉及计算机视觉、自然语言处理和深度学习等技术领域，可应用于图像分类、OCR、文本抽取和问答系统等场景。数据剪枝方法包括：获取针对目标计算单元的输入标记序列；输入标记序列中的每个标记指示多媒体数据中一个数据单元的特征；根据设置于目标计算单元之前的注意力单元生成的注意力矩阵，对输入标记序列进行剪枝处理，得到剪枝后标记序列和被剪枝标记；将剪枝后标记序列输入目标计算单元，得到目标计算单元输出的计算后标记序列；以及组合计算后标记序列和被剪枝标记，得到设置于目标计算单元之后的在后计算单元的输入数据。
主权项：1.一种数据剪枝方法，包括：获取输入标记序列；所述输入标记序列中的每个标记指示多媒体数据中一个数据单元的特征；所述输入标记序列是针对序列模型所包括的目标计算单元的；所述序列模型还包括设置于所述目标计算单元之前的注意力单元；根据所述注意力单元生成的注意力矩阵，对所述输入标记序列进行剪枝处理，得到剪枝后标记序列和被剪枝标记；将所述剪枝后标记序列输入所述目标计算单元，得到所述目标计算单元输出的计算后标记序列；以及组合所述计算后标记序列和所述被剪枝标记，得到所述序列模型中设置于所述目标计算单元之后的在后计算单元的输入数据；其中，所述序列模型包括依次连接的、基于注意力机制构建的多个计算层；每个计算层包括注意力单元和后处理单元；所述目标计算单元包括：所述多个计算层中指定计算层所包括的后处理单元；设置于所述目标计算单元之前的注意力单元为所述指定计算层的注意力单元。
全文数据：
权利要求：
百度查询： 北京百度网讯科技有限公司 数据剪枝方法和序列模型的训练方法、装置、设备和介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号