基于Tensorflow对卷积神经网络的优化研究

来源：计算机工程与应用杂志2020年第1期北京时间：

作者：郭敏钢，宫鹤

单位：1.吉林农业大学 信息技术学院，长春 130118；2.吉林农业大学 吉林省智能环境工程研究中心，长春 130118；3.吉林农业大学 吉林省农业物联网科技协同创新中心，长春 130118

摘要：针对卷积神经网络在性耗比上的不足，提出了异构式CPU+GPU的协同计算模型，在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算，使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比，结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大，收敛速度慢，以及ReLU激活函数在[x]负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题，提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果，将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数，并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明，ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。

关键词：Tensorflow,CPU+GPU,卷积神经网络,Swish激活函数,ReLU激活函数,ReLU-Swish激活函数