基于稳健设计的SGNS算法的超参数调优方法

来源：计算机应用研究杂志2021年第2期北京时间：

作者：牛倩,曹学飞,王瑞波,李济洪,

单位：山西大学软件学院,太原030006；

摘要：通常给定超参数的若干取值选取性能最大的为最优组合（称为直接选优法），但是此方法的稳健性差。为此，提出了一种基于稳健设计的超参数调优方法（称为稳健调优法）。具体地，以SGNS算法中的超参数调优为例，在词语推断任务上实验并得出：经方差分析得到SGNS算法中的七个超参数中的五个对算法预测性能有显著影响，确定为主控因子，其余两个确定为噪声因子，且主控因子中有三个对性能估计的方差有显著影响，因此，调优中仅从期望最大来直接选优是不合理的；稳健调优法与直接选优法两者在预测性能上没有显著差异，但稳健调优法对噪声因子具有较好的稳健性。稳健调优法对一般的深度神经网络的调参有实际的借鉴意义。

关键词：稳健设计,信噪比,SGNS算法,超参数调优,词向量表示学习,

基金资助：国家自然科学基金青年基金资助项目(61806115,61603228)；；