申请/专利权人：浙江大学

申请日：2024-01-08

公开（公告）日：2024-04-09

公开（公告）号：CN117853879A

主分类号：G06V10/94

分类号：G06V10/94;G06V10/44;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G06F3/0481;G06F3/0484

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：一种基于计算机视觉的移动应用浮窗无障碍可操作性检测方法，首先接收用户输入的移动应用页面根节点信息，并遍历目标应用页面以获取截图。随后，对页面图片进行二值化处理，并使用YOLOv5网络训练目标检测模型以进行浮窗轮廓定位，将结果返回给自动化测试工具APPIUM检测关闭按钮，并采用视觉方法纠错。最终，判断浮窗可操作性是否合规。通过该方法的实施，可以有效判断移动应用中浮窗的可操作性。本发明的应用领域主要包括信息无障碍技术领域，尤其适用于移动应用的界面交互优化，符合无障碍标准。

主权项：1.一种基于计算机视觉的移动应用浮窗无障碍可操作性检测方法，其特征在于，包括以下步骤：S101：接收用户输入的移动应用页面根节点信息，遍历目标应用页面并获取截图；S102：利用浮窗的亮度相对于背景亮的特点，对相应的页面图片进行二值化处理；二值化阈值的确定使用基于自适应二值化的方法，确保对浮窗的有效检测；S103：使用相关浮窗轮廓数据集及合成扩充数据集训练目标检测模型YOLOv5网络，以进行浮窗轮廓定位；S104：检测二值化后的图片中所有物体的轮廓，筛选面积最大的轮廓作为浮窗的轮廓，标识浮窗区域；S105：根据步骤S104得到的浮窗区域进行关闭按钮检测；采用自动化测试工具APPIUM加目标检测并用的方式作为容错机制，进一步检测浮窗周围区域是否存在关闭按钮；APPIUM通过模拟用户点击交互手段，检测关闭按钮相关文字、大小、位置信息是否合规；S106：综合步骤S104和步骤S105的检测结果，获得浮窗可操作性条目检测的最终结果。

全文数据：

权利要求：

百度查询： 浙江大学 基于计算机视觉的移动端应用浮窗无障碍可操作性检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD