《电子测量技术杂志》发表论文赏析

基于改进Adam优化算法的中文短文本分类方法

来源:电子测量技术杂志2022年第23期北京时间:

作者:赵志杰,张艳艳,毛翔宇

单位:南京信息工程大学 南京 210044

摘要:针对BERT模型中编码器提取特征信息时因并行计算而缺少文本的时序信息及模型网络复杂度较高易受偏差影响等问题,本文提出一种基于改进Adam优化算法的模型DTSCF-Net。模型采用BERT模型提取短文本的语义特征表示,将语义特征输入到Bi-GRU中,提取具有上下文时序特征的语义信息,输入Maxpooling层筛选最优特征,分类得到该短文本的类别。针对Adam算法在拟合中产生的动量偏差添加校正算法来缓解性能下降,对比两个连续时间步上的校正动量值,选取两个时间步中的动量最大值代入梯度计算,并对学习率添加自适应调节因子,利用上一次迭代的梯度值,实现学习率的自适应调节,提高分类精度。实验表明,DTSCF-Net的分类准确率为94.86%,相较于同实验环境下的基准模型BERT、BERT-Bi-GRU分别提高2.07%、1.71%。结果证明本文所提方法具有一定的性能提升。

关键词:文本分类;自适应矩估计;BERT;Bi-GRU;短文本

基金资助:国家自然科学基金(61705109);江苏高校优势学科建设工程资助项目;江苏省双创团队人才计划

2022年23期其他文献查阅:

基于图优化和EKF的UWB组合定位算法

基于模糊PID的供暖设备控制系统设计

神经网络校准的磁强计与卫星组合测姿方法

基于内模控制的逆变器并离网无缝切换策略研究

含打印错位字符的机动车登记证识别算法设计

基于Vivado HLS的内窥镜实时暗部增强算法设计

改进RRT结合B样条的移动机器人路径规划研究

基于改进Census变换和自适应权重的立体匹配算法

基于遗忘因子递推最小二乘法的锂电池 等效电路模型参数辨识方法

融合注意力机制的BiLSTM网络实现无创血压测量

基于ICEEMDAN-MPE和AO-LSSVM的滚动轴承故障诊断

基于改进YOLOX的红外目标检测算法

基于改进YOLOv5的复杂场景多目标检测

一种融合卷积与transformer的级联包检测方法

基于改进YOLOv4-tiny的印刷电路板缺陷检测研究

自适应特征融合的轻量级交通标志检测方法

基于DeepLabV3+的轮对踏面损伤分割算法

基于FPFH的权重局部最优投影点云精简算法

综合利用肤色模型和感知损失的偏色去除

基于改进Adam优化算法的中文短文本分类方法

融合装配特征和回归分析的锯链图像分割算法

基于低秩逼近的无线传感网定位算法

基于VMD和优化的LSTM锂离子电池寿命预测方法

基于CNN-LSTM的脑电P300信号检测

基于GLCM和FCM算法融合的铣削零件缺陷提取方法

基于混合策略麻雀搜索算法的WSN覆盖优化

基于机器学习的有色金属冶炼工序识别

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!