《电子测量技术杂志》发表论文赏析

基于BERT和知识蒸馏的航空维修领域命名实体识别

来源:电子测量技术杂志2023年第3期北京时间:

作者:顾佼佼,翟一琛,姬嗣愚,宗富强

单位:1.海军航空大学 烟台 264001; 2.91475部队 葫芦岛 125001

摘要:针对军事航空维修领域命名实体识别训练数据少,标注成本高的问题,改进提出一种基于预训练BERT的命名实体识别方法,借鉴远程监督思想,对字符融合远程标签词边界特征得到特征融合向量,送入BERT生成动态字向量表示,连接CRF模型得到序列的全局最优结果,在自建数据集上进行实验,F1值达到0.861。为压缩模型参数,使用训练好的BERT-CRF模型生成伪标签数据,结合知识蒸馏技术指导参数量较少的学生模型BiGRU-CRF进行训练。实验结果表明,与教师模型相比,学生模型以损失2%的F1值为代价,参数量减少了95.2%,运算推理时间缩短了47%。

关键词:航空维修文本;命名实体识别;BERT;知识蒸馏;伪标签增强;词向量增强

2023年3期其他文献查阅:

一种低功耗CMOS晶体振荡器电路设计

太赫兹石墨烯贴片式高温传感器的设计与研究

基于交流链接技术的LLC谐振变换器及控制算法

基于BERT和知识蒸馏的航空维修领域命名实体识别

燃料电池观光车系统建模与能量管理的研究

模糊PID在带电作业机器人液压系统中的研究

高准确度交流电压标准源电路设计与实现

基于多探测器融合的非视线链路通信系统研究

面向复杂环境的圆形标志高精度定位方法

一种超声治疗仪的自动跟踪锁频电路设计

基于自适应波谱斜率的海面风速反演算法研究

皮秒分辨率数字可编程精密延迟触发技术

一种飞机姿态融合算法研究

卫星时滞系统的强跟踪鲁棒扩展Kalman滤波

基于GWO-XGBoost泥石流灾害预测

基于改进混合蛙跳算法的测试数据自动生成

积分对象模型预测控制研究

基于Arduino和STM32的主动式手部训练系统

基于时空和频域特征的EEG帕金森疾病识别

基于CNN-BiLSTM网络的锂离子电池健康状态检测方法

基于GCC-MSSA的变压器局放超声内部定位方法

基于多尺度特征融合与混合注意力的云检测算法

基于时空自适应图卷积网络的跌倒检测算法

基于改进YOLOv5的输电线路鸟巢缺陷检测方法

结合空频域多尺度特征的植株叶片分割方法

基于PSO的多层开孔电磁屏蔽结构优化设计

基于CWT和CooAtten-Resnet的弧齿锥齿轮箱故障诊断方法研究

基于IEWT-DELM的行星齿轮箱故障诊断

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!