数据标注研究综述

来源：软件学报杂志2020年第2期北京时间：

作者：蔡莉,王淑婷,刘俊晖,朱扬勇

单位：蔡莉，云南大学 软件学院, 云南 昆明 650091;复旦大学 计算机科学技术学院, 上海 20043311,王淑婷，云南大学 软件学院, 云南 昆明 65009102,刘俊晖，云南大学 软件学院, 云南 昆明 65009103,朱扬勇，复旦大学 计算机科学技术学院, 上海 20043304

摘要：数据标注是大部分人工智能算法得以有效运行的关键环节.数据标注越准确、标注的数据量越大，算法的性能就越好.数据标注行业的发展带动了中国许多城市和城镇的就业，促使中国逐渐成为世界数据标注的中心.阐述了数据标注的发展概况，包括起源、应用场景、分类和任务；列举了目前常用的标注数据集、开源的数据标注工具和商业数据标注平台；提出了标注中的角色、标准和流程等数据标注规范；给出了一个情感分析场景中的数据标注实例；描述各类主流的标注质量评估算法及其特点，并对比它们优缺点；最后，从任务、工具、数据标注质量和安全性这4个方面对数据标注的研究方向和发展趋势进行了展望.

关键词：数据标注;人工智能;众包;大数据

基金资助：国家自然科学基金（61663047，U1636207）；云南大学服务云南行动计划（2016ZD05）