机器学习安全性问题及其防御技术研究综述

来源：计算机科学与探索杂志2018年第2期北京时间：

作者：李盼，赵文涛，刘强，崔建京，殷建平

单位：国防科技大学 计算机学院，长沙 410073

摘要：机器学习已经成为当前计算机领域研究和应用最广泛的技术之一，在图像处理、自然语言处理、网络安全等领域被广泛应用。然而，一些机器学习算法和训练数据本身还面临着诸多安全威胁，进而影响到基于机器学习的面部检测、恶意程序检测、自动驾驶汽车等实际应用系统的安全性。由目前已知的针对支持向量机（support vector machine，SVM）分类器、聚类、深度神经网络（deep neural networks，DNN）等多种机器学习算法的安全威胁为出发点，介绍了在机器学习的训练阶段和测试/推理阶段中出现的基于对抗样本的投毒、逃逸、模仿、逆向等攻击和隐私泄露等问题，归纳了针对机器学习的敌手模型及其安全评估机制，总结了训练过程和测试过程中的若干防御技术和隐私保护技术，最后展望了下一步机器学习安全研究的发展趋势。

关键词：机器学习,对抗样本,安全威胁,防御技术