申请/专利权人：南京航空航天大学

申请日：2024-01-10

公开（公告）日：2024-04-09

公开（公告）号：CN117851258A

主分类号：G06F11/36

分类号：G06F11/36;G06F3/0481;G06F3/04845;G06F3/0488;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明提供一种基于深度排序学习的脚本录制中目标控件获取方法，用于在单个摄像头录制的手工测试视频中获取点击动作的目标控件图像。首先，利用视觉技术获取屏幕区域图像并计算屏幕变化差异值和指尖移动速度，根据这些特征获取用户与设备交互的触控区域；然后，对点击动作触发前的屏幕区域图像进行控件检测并获取触控区域内的所有候选控件；最后，使用深度排序学习算法对候选控件与响应界面图像的关联性进行评分和排序，确保最符合预期的控件被选中为点击目标控件。本方法使用深度排序学习智能算法提高了点击动作目标控件图像获取的准确率，克服了现有非侵入式脚本录制方法录制环境复杂、目标控件图像获取准确率较低的问题。

主权项：1.一种基于深度排序学习的脚本录制中目标控件获取方法，用于在单个摄像头录制的手工测试视频中获取点击动作的目标控件图像，其特征在于，包括以下步骤：步骤S1：使用MediaPipe中的手部跟踪算法获取视频中手部关键点坐标，提取在YCrCb颜色空间下的手部颜色区间Colorrange，接着使用基于边缘检测与轮廓提取算法获取视频中屏幕区域的四个顶点坐标，在获取屏幕区域位置的前提下，为了校正由于拍摄角度而引起的图像中屏幕区域的畸变，需要通过透视变换得到屏幕正视图集合S，从而更准确地呈现屏幕图像内容；步骤S2：根据屏幕变化差异值和指尖移动速度获取人机交互的触控区域，进而获取排序候选控件，首先，计算相邻两帧屏幕区域的结构化相似性指标SSIM的补作为两张图像的差异值diffscreen并对数据进行平滑处理；然后，根据步骤S1得到的手部颜色区间Colorrange获取手部轮廓二值化图像，以轮廓最高顶点作为指尖坐标，在此基础上计算指尖移动速度speedfingertip并进行数据平滑处理，结合屏幕变化差异值和指尖移动速度获取用户与设备之间的触控视频帧，进而获取触控区域Atouch；接下来，使用边缘检测算法对步骤S1获取到的屏幕正视图S进行控件检测，获取控件位置信息Ct；最后，结合触控区域Atouch来获取落入触控区域的候选控件图像集合Ctcandidate，并根据屏幕变化差异值diffscreen获取点击动作触发后的响应界面图像Iresponse；步骤S3：获取目标控件图像，根据步骤S2所得到的候选控件图像集合Ctcandidate和点击动作触发后的响应界面图像Iresponse，首先判断候选控件图像集合Ctcandidate是否为空，若Ctcandidate不为空，则使用深度排序学习算法对候选控件图像与响应界面图像Iresponse的关联性进行评分和排序，以确保最符合预期的控件被选中为点击目标控件；若Ctcandidate为空，将触控区域作为目标控件图像，可以将其用作触发相应的点击事件的依据。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于深度排序学习的脚本录制中目标控件获取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD