申请/专利权人：通用汽车环球科技运作有限责任公司

申请日：2019-06-12

公开（公告）日：2024-04-23

公开（公告）号：CN111353599B

主分类号：G06N3/082

分类号：G06N3/082

优先权：["20181220 US 16/227195"]

专利状态码：有效-授权

法律状态：2024.04.23#授权;2020.07.24#实质审查的生效;2020.06.30#公开

摘要：本发明题为“深度神经网络的正确性保持优化”。本发明公开了一种用于减少受训深度神经网络DNN中的神经元数量的方法，该方法包括分类多个隐藏层中的层类型；使用数据验证集评估DNN的准确性；以及生成神经元的层特定排名，其中该生成包括：对多个隐藏层中的一个或多个层使用数据验证集，分析所分析的层中的每个神经元的激活函数以确定每个神经元的激活分数；以及基于层类型根据神经元的激活分数对所分析的层中的每个神经元进行排名，以生成神经元的层特定排名。该方法还包括从DNN中移除多个较低排名神经元，该移除在移除所选的较低排名神经元之后不导致DNN落在准确性阈值限值之外。

主权项：1.一种用于减少车辆中使用的受训深度神经网络DNN中的神经元及其互连的数量的处理器实现的方法，所述方法包括：由层分类模块识别并分类所述DNN的多个隐藏层中的层类型；由神经元排名模块使用数据验证集评估所述DNN的准确性；由神经元排名模块生成神经元的层特定排名，所述生成包括：对所述多个隐藏层中的一个或多个层使用所述数据验证集来分析所分析的一个或多个层中的每个神经元的激活函数，以确定每个神经元的对应于所分析的激活函数的激活分数；以及基于层类型根据所述神经元的激活分数对所分析的一个或多个层中的每个神经元进行排名，以生成神经元的层特定排名，所述排名包括生成每个神经元的归一化神经元激活输出分数并基于其归一化激活输出分数对层中的所述神经元进行排名；由神经元消除选择模块从所述DNN中选择特定类型的多个较低排名神经元以供移除，所述移除在移除所选的较低排名神经元之后不导致所述DNN落在准确性阈值限值之外；以及由神经元消除选择模块从所述DNN中移除所选的供移除的所述神经元；其中移除了神经元的所述DNN被配置成用于在车辆中执行感知任务，感知任务包括对象检测、自由空间检测和对象姿态检测，其中从所述DNN中选择多个较低排名神经元以供移除包括迭代地分析并从所述DNN中选择较低排名神经元以供移除，直至达到迭代阈值，其中从所述DNN中迭代地选择较低排名神经元以供移除包括：指定所述较低排名神经元中的一些以供移除；将移除了指定供移除的所述较低排名神经元的较新DNN的准确性与没有移除神经元的DNN的准确性进行比较；当所述较新DNN的准确性不在准确性阈值限值内时，如果未达到迭代限值，则执行所述选择的另一迭代同时指定更少的神经元以供移除，或者如果达到所述迭代限值，则从最后一次先前迭代中选择移除所述指定供移除的神经元，其中所述较新DNN的准确性在准确性阈值限值内；并且当所述较新DNN的准确性在准确性阈值限值内时，如果未达到迭代限值，则执行所述选择的另一迭代同时指定更多的神经元以供移除，或者如果达到所述迭代限值，则在当前迭代中选择移除所述指定供移除的神经元。

全文数据：

权利要求：

百度查询： 通用汽车环球科技运作有限责任公司 深度神经网络的正确性保持优化

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD