基于双曲正切函数的修正线性单元

来源：计算机集成制造系统杂志2020年第1期北京时间：

作者：刘坤华,钟佩思,徐东方,夏强,刘梅

单位：山东科技大学先进制造技术研究中心

摘要：为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明：基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的损失。

关键词：激活函数,双曲正切函数,修正线性单元,泄露修正线性单元,指数线性单元,深度学习

基金资助：国家自然科学基金资助项目(51375282);山东省重点研发计划资助项目(2018GGX106001);山东省高等学校科学技术计划资助项目(J18KA009,J16LB58);山东科技大学研究生科技创新资助项目(SDKDYC180334,SDKDYC180329)。