基于文字识别与页面布局的APP控件识别算法

来源：计算机工程杂志2019年第6期北京时间：

作者：丁世举,顾乃杰,黄章进,侯津

单位：1.中国科学技术大学 计算机科学与技术学院 合肥 230027; 2.安徽省计算与通信软件重点实验室 合肥 230027

摘要：在移动应用的开发周期中,使用图形用户界面(GUI)自动化测试技术可提高APP的开发测试效率。针对基于录制回放的GUI自动化测试方法存在不适用黑盒测试场景或识别正确率较低等不足,提出基于图像文字识别和应用页面布局的控件识别算法。根据移动应用的页面布局结构和手势操作坐标精确识别控件,采用控件树遍历的方式解决遍历过程中的页面布局重叠问题。分别在Android和iOS 2个平台进行实验,结果表明,与基于坐标和源代码的控件识别算法相比,该控件识别算法具有更高的正确率。

关键词：图形用户界面,自动化测试,控件识别,文字识别,页面布局