申请/专利权人：百度(美国)有限责任公司

申请日：2019-07-19

公开（公告）日：2024-04-05

公开（公告）号：CN111260021B

主分类号：G06N3/0495

分类号：G06N3/0495;G06N3/0442;G06N3/0464;G06N3/0455;G06N3/084;G06N3/0985;G06V10/764;G06V10/82;G06F40/58;G10L25/30

优先权：["20181130 US 16/206,910"]

专利状态码：有效-授权

法律状态：2024.04.05#授权;2020.07.03#实质审查的生效;2020.06.09#公开

摘要：随着深度学习应用领域增长，更深入地理解训练集大小、计算规模和模型准确度改善之间的关系是非常有益的。本文呈现了随着训练集增长的误差和模型大小增长的大规模经验研究。本文介绍了用于这种测量的方法的实施方式以及用于预测诸如计算相关度量等其它度量的实施方式。本文示出了幂律可以用于表示深层模型关系，诸如误差和训练数据大小。还示出了模型大小随数据大小亚线性地缩放。这些缩放关系对深度学习研究、实践和系统具有重要影响。它们可以帮助模型调试、设置准确度目标和决定数据集增长。它们还可以引导计算系统设计并且强调持续计算缩放的重要性。

主权项：1.一种用于生成学习曲线以帮助预测深度学习模型的度量的计算机实施方法，所述方法包括：将数据集划分成一组分片，使得分片大小跨越多个数量级，其中所述数据集包括应用于神经机器翻译、语言建模、图像分类和语音识别中的至少之一的数据；在来自所述一组分片的每个分片上训练一组模型候选者，其中所述一组模型候选者内的模型在架构、超参数或两者方面不同；使用验证集来从所训练的一组模型候选者当中识别用于每个分片的最佳模型，其中每个最佳模型针对该分片具有对应验证准确度，所述最佳模型具有分片大小；使用针对所述分片选择的所述最佳模型的所述对应验证准确度和分片大小拟合幂律学习曲线模型；以及使用所拟合的幂律学习曲线来预测与深度学习模型相关联的度量。

全文数据：

权利要求：

百度查询： 百度(美国)有限责任公司 预测深度学习缩放

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD