基于图卷积神经网络和 RoBERTa 的物流订单分类

来源：计算机技术与发展杂志2023年第10期北京时间：

作者：建兵;杨超*;刘方方;黄暕;项勇

单位：安徽港口物流有限公司,安徽 铜陵 244000 Author(s): WANG Jian-bing;YANG Chao* ;LIU Fang-fang;HUANG Jian;XIANG Yong Anhui Port Logistics Co. ,Ltd. ,Tongling 244000,China 关键词: 订单分类;图卷积神经网络;抽象语义表示;RoBERTa 模型;特征提取 Keywords: order classification;graph convolution neural network;abstract meaning representation;RoBERTa model;feature extraction 分类号: TP391 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 10. 030 摘要: 订单信息贯穿于物流供应链的所有环节,高效的订单处理是保障物流服务质量和运营效率的关键。 面对日益增长的差异化客户物流订单,人工对订单分类费时、低效,难以满足现代物流要求的效率标准。 为了提升物流订单分类的性能,该文提出了一种基于图卷积神经网络 ( graph convolution network,GCN)和 RoBERTa 预训练语言模型的订单分类方法。首先,基于物流订单文本的抽象语义表示( abstract meaning representation,AMR) 结果和关键词构建全局 AMR 图,并使用图卷积神经网络对全局 AMR 图进行特征提取,获取订单文本的全局 AMR 图表示向量;其次,基于 AMR 算法构建物流订单文本分句的局部 AMR 图集合,然后使用堆叠 GCN 处理图集合得到订单文本局部 AMR 图表示向量;再次,使用 RoBERTa模型处理物流订单文本,得到文本语义表示向量;最后,融合三种类型的文本表示向量完成物流订单分类。 实验结果表明:该方法在多项评价指标上优于其他基线方法。 消融实验结果也验证了该分类方法各模块的有效性。 Abstract: Order information runs through all links of the logistics supply chain. Efficient order processing is the key to ensure the qualityof logistics services and operational efficiency. With the trend of growing and differentiated customer logistics orders,manual order classification is time - consuming and inefficient, which is difficult to?meet the efficiency standards required by modern logistics. Aclassification method is proposed to improve the performance of logistics order classification. Firstly,the global AMR graph is constructedbased on the abstract meaning representation result and keywords of the logistics order text,and the feature extraction of the global AMRgraph is carried out using the graph convolution network to obtain the global AMR graph representation vector. Secondly,the local AMRgraph set of the logistics order text is built based on the AMR algorithm,and the stacked-GCN is used to process the graph to obtain therepresentation vector of local AMR graph. Thirdly,the RoBERTa model is used to process the logistics order text with the purpose of obtaining the text semantic representation vector. Finally,three types of the logistics order text representation vectors are fused to finish theclassification task. Experimental results show that the proposed method is superior to other baseline methods?in many evaluation indexes.Ablation experiments also verify the effectiveness of each proposed module in the classification method.

摘要：订单信息贯穿于物流供应链的所有环节,高效的订单处理是保障物流服务质量和运营效率的关键。 面对日益增长的差异化客户物流订单,人工对订单分类费时、低效,难以满足现代物流要求的效率标准。 为了提升物流订单分类的性能,该文提出了一种基于图卷积神经网络 ( graph convolution network,GCN)和 RoBERTa 预训练语言模型的订单分类方法。首先,基于物流订单文本的抽象语义表示( abstract meaning representation,AMR) 结果和关键词构建全局 AMR 图,并使用图卷积神经网络对全局 AMR 图进行特征提取,获取订单文本的全局 AMR 图表示向量;其次,基于 AMR 算法构建物流订单文本分句的局部 AMR 图集合,然后使用堆叠 GCN 处理图集合得到订单文本局部 AMR 图表示向量;再次,使用 RoBERTa模型处理物流订单文本,得到文本语义表示向量;最后,融合三种类型的文本表示向量完成物流订单分类。 实验结果表明:该方法在多项评价指标上优于其他基线方法。 消融实验结果也验证了该分类方法各模块的有效性。

关键词：订单分类;图卷积神经网络;抽象语义表示;RoBERTa 模型;特征提取