深度单峰梯形神经网络

来源：计算机工程与应用杂志2018年第23期北京时间：

作者：单传辉

单位：北京工业大学 信息学部 计算机学院，北京 100124

摘要：近年来，深度学习在许多领域取得了巨大的成功，其中，激活函数是深度学习取得巨大成功的关键因素之一。根据生物神经元特性，针对ReLU右侧响应无界问题，提出了单峰梯形线性单元（Single-Peaked Trapezoid Linear Unit，SPTLU）。SPTLU更加符合生物神经元特性，且取得了等同和超越ReLU的优异性能，实验表明在不同数据集上都取得了很好的效果，例如，数据集MNIST，Fashion-MNIST，SVHN，CALTECH101和CIFAR10。

关键词：单峰梯形线性单元（SPTLU）,SPTLU神经元,SPTLU网络,对比实验