申请/专利权人:腾讯科技(深圳)有限公司
申请日:2020-08-31
公开(公告)日:2020-10-23
公开(公告)号:CN111813711A
主分类号:G06F12/0866(20160101)
分类号:G06F12/0866(20160101);G06F12/0893(20160101)
优先权:
专利状态码:有效-授权
法律状态:2020.12.29#授权;2020.11.10#实质审查的生效;2020.10.23#公开
摘要:本发明公开了一种云技术场景下的训练样本数据的读取方法和装置、存储介质及电子设备,具体的,涉及数据库技术场景下的数据查询等。其中,该方法包括:从存储空间中存储的目标数据集合中按照第一数据块顺序读取样本数据块,根据读取到的样本数据块对目标模型进行模型训练,并将读取到的样本数据块缓存到目标缓存空间;当按照第一数据块顺序从目标数据集合中读取完样本数据块后,将第一数据块顺序调整为第二数据块顺序;按照第二数据块顺序,从目标缓存空间和存储空间中读取目标数据集合中的样本数据块,并根据读取到的目标数据集合中的样本数据块对目标模型进行模型训练。本发明解决了数据读取的命中率较低的技术问题。
主权项:1.一种训练样本数据的读取方法,其特征在于,包括:从存储空间中存储的目标数据集合中按照第一数据块顺序读取样本数据块,根据所述读取到的样本数据块对目标模型进行模型训练,并将所述读取到的样本数据块缓存到目标缓存空间,直至所述目标缓存空间缓存的样本数据块达到所述目标缓存空间的缓存上限;当按照所述第一数据块顺序从所述目标数据集合中读取完样本数据块后,将所述第一数据块顺序调整为第二数据块顺序,其中,所述第一数据块顺序与所述第二数据块顺序不同;按照所述第二数据块顺序,从所述目标缓存空间和所述存储空间中读取所述目标数据集合中的样本数据块,并根据读取到的所述目标数据集合中的样本数据块对所述目标模型进行模型训练,其中,按照所述第二数据块顺序,从所述目标缓存空间和所述存储空间中读取所述目标数据集合中的样本数据块,包括:在所述目标缓存空间中查询到所述目标数据集合中的样本数据块的情况下,从所述目标缓存空间中读取所述目标数据集合中的样本数据块,在所述目标缓存空间中查询不到所述目标数据集合中的样本数据块的情况下,从所述存储空间读取所述目标数据集合中的样本数据块。
全文数据:
权利要求:
百度查询: 腾讯科技(深圳)有限公司 训练样本数据的读取方法和装置、存储介质及电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。