一种改进的基于幂线性单元的激活函数

来源：计算机应用研究杂志2019年第10期北京时间：

作者：骆训浩,李培华,

单位：大连理工大学电子信息与电气工程学部,辽宁大连116024；

摘要：针对修正线性单元（ReLU）完全丢弃网络中包含有用信息的负激活值问题，基于参数化修正线性单元（PReLU）和指数线性单元（ELU）的研究，提出一种新颖的参数化激活函数幂线性单元（PoLU）。PoLU对输入的负激活部分实施有符号的幂非线性变化，幂函数的参数是可以在CNN训练过程中自适应学习的，同时像ReLU那样保持正激活部分不变。PoLU可以高效地实现并且灵活地运用到不同的卷积神经网络架构中。在广泛使用的CIFAR-10/100数据库上的实验结果表明，PoLU要优于ReLU和它相对应的激活函数。

关键词：幂线性单元,参数化激活函数,卷积神经网络,

基金资助：国家自然科学基金资助项目(61471082)；；