面向开源源码大数据的数据质量研究

来源：计算机科学与探索杂志2020年第3期北京时间：

作者：包盼盼，陶传奇，黄志球

单位：1.南京航空航天大学 计算机科学与技术学院，南京 2100162.南京航空航天大学 高安全系统的软件开发与验证技术工信部重点实验室，南京 2100163.南京大学 计算机软件新技术国家重点实验室，南京 2100234.软件新技术与产业化协同创新中心，南京 210016

摘要：基于开源源码大数据进行代码生成、缺陷预测等是当前智能化软件开发方法与技术的重要研究内容。然而现有的关注点主要聚焦于各种推荐、预测等智能算法的研究，较少对研究所使用数据的质量进行评估与分析。大部分智能化软件开发研究的数据来源于开源数据托管平台，受限于开发者自身水平，它们并不能保证都具有较高质量。根据“garbage in，garbage out”，这会影响最终结果质量。源码数据的质量对相关的研究有重要影响，却没有得到足够的重视。针对上述问题，提出了一种面向开源源码大数据的方法块数据质量评估方法。首先研究如何定义和评估GitHub上抽取的源码的数据质量问题，然后对开源源码从不同维度进行质量评估。通过该源码数据质量评估方法可以帮助相关研究人员构建具有更高质量的数据集，进而提高智能化相关研究，比如代码生成、缺陷预测等的结果质量。

关键词：编程智能化,开源大数据,源码数据,数据质量