自动语音识别模型压缩算法综述

来源：吉林大学学报·理学版杂志2024年第1期北京时间：

作者：时小虎, 袁宇平, 吕贵林, 常志勇, 邹元君

单位：1. 吉林大学 计算机科学与技术学院, 长春 130012； 2. 吉林大学 大数据和网络管理中心, 长春 130012；3. 中国第一汽车集团有限公司研发总院 智能网联开发院,长春 130011； 4. 吉林大学 生物与农业工程学院, 长春 130022； 5. 长春中医药大学 医药信息学院, 长春 130117

摘要：随着深度学习技术的发展, 自动语音识别任务模型的参数数量越来越庞大, 使得模型的计算开销、 存储需求和功耗花费逐渐增加, 难以在资源受限设备上部署. 因此对基于深度学习的自动语音识别模型进行压缩, 在降低模型大小的同时尽量保持原有性能具有重要价值. 针对上述问题, 全面综述了近年来该领域的主要工作,将其归纳为知识蒸馏、 模型量化、 低秩分解、 网络剪枝、 参数共享以及组合模型几类方法, 并进行了系统综述, 为模型在资源受限设备的部署提供可选的解决方案.

关键词：语音识别,模型压缩,知识蒸馏,模型量化,低秩分解,网络剪枝,参数共享