深度学习的可解释性研究综述

来源：计算机应用杂志2022年第12期北京时间：

作者：李凌敏, 侯梦然, 陈琨, 刘军民

单位：西安交通大学 数学与统计学院，西安 710049

摘要：近年来，深度学习在很多领域得到广泛应用；然而，由于深度神经网络模型的高度非线性操作，导致其可解释性较差，并常常被称为“黑箱”模型，无法应用于一些对性能要求较高的关键领域；因此，对深度学习的可解释性开展研究是很有必要的。首先，简单介绍了深度学习；然后，围绕深度学习的可解释性，从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析；同时，展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用；最后，讨论了深度学习可解释性研究存在的问题及未来的发展方向。

关键词：深度学习,可解释性,隐层可视化,类激活映射,频率原理,可解释模块,信息论

基金资助：国家重点研发计划项目(2020AAA0105601)