买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种RPA机器人智能元素定位拾取方法及系统_杭州实在智能科技有限公司_202011206854.7 

申请/专利权人:杭州实在智能科技有限公司

申请日:2020-11-03

公开(公告)日:2021-04-27

公开(公告)号:CN112101357B

主分类号:G06K9/32(20060101)

分类号:G06K9/32(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权:

专利状态码:有效-授权

法律状态:2021.04.27#授权;2021.01.05#实质审查的生效;2020.12.18#公开

摘要:本发明公开了一种RPA机器人智能元素定位拾取方法及系统,首先采用模板匹配、OCR和图像检索相结合的计算机视觉技术,解决远程桌面、虚拟系统等元素无法定位和操作的问题,提出的新方案能够更加准确和稳定地定位和拾取图片上元素的位置和内容;其次采用基于模板匹配的元素定位方案,不需要大量的标注样本,且更加稳定和可控;第三,融合像素点特征、角点特征和深度神经网络的卷积特征,使得模板匹配的效果更准确和稳定,同时OCR技术也能进一步辅助带文字信息的元素进行定位;最后,采用图像检索技术构建模板库检索引擎,能够精准判断要处理的页面图片属于哪种应用程序,从而解决多场景下模板库增长导致的检索和匹配速度慢的问题。

主权项:1.一种RPA机器人智能元素定位拾取方法,其特征在于,应用使用到图像检索模块、光学字符识别模块和模板匹配模块,具体包括以下操作步骤:图像检索模块首先应用深度神经网络训练一个页面分类模型,将各种不同的页面分类为指定的场景,同时图像检索模块底层图片库中保存了大量各类场景的页面图片和计算好的特征向量索引;页面图片输入图像检索模块,利用预训练好的神经网络的部分层作为特征提取器,输出经过深度神经网络计算得到的深度特征向量,深度特征向量进入向量搜索引擎,在图片库中找到与输入页面图片最相似的一张图片,并获得该图片对应的场景,进一步获取对应的图标模板库,即场景对应模板库;光学字符识别模块先进行文字检测,获取文本区域位置,然后根据文本区域位置在原图中裁剪得到文本块小图,送入文字识别网络,获取该文本块小图上的文本内容,最终返回结果为文本区域位置和对应的文本内容;将待解析的页面图片和图像检索模块输出的场景对应模板库作为模板匹配模块两个输入,完成页面图片和场景对应模板库中模板图片的特征提取,在模板图片的特征提取中融合了深度特征和角点特征,在页面图片中选择和模板图片特征相匹配的若干候选区域,并结合像素点特征做最终定位,确定最终的匹配区域;在完成模板匹配后,确定该模板图片在页面图片中的位置并进行保存,并判断是否完成整个场景对应模板库中图片的遍历,若为否则继续获取场景对应模板库中下一个模板图片执行匹配,否则输出页面图片解析结果,最终结合光学字符识别模块的输出结果,将页面文字信息和页面图标信息统一在页面图片中定位得到,并用于RPA编辑过程中的拾取和后续的实际执行。

全文数据:

权利要求:

百度查询: 杭州实在智能科技有限公司 一种RPA机器人智能元素定位拾取方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。