视觉指导的分词和词性标注

来源：计算机应用杂志2025年第5期北京时间：

作者：田海燕, 黄赛豪, 张栋, 李寿山

单位：苏州大学 计算机科学与技术学院，江苏 苏州 215006

摘要：中文分词（WS）和词性（POS）标注可以有效帮助其他下游任务，如知识图谱创建和情感分析。但现有工作通常仅利用纯文本信息进行WS和POS标注，忽略了网络中许多与之相关的图片和视频信息。针对这一现状，尝试从这些视觉信息中挖掘相关线索，以帮助进行中文WS和POS标注。首先，制定一系列详细的数据标注规范，并基于微博推文中的文本和图像内容，使用WS和POS标签标注了一个多模态数据集VG-Weibo；其次，提出2种具有不同解码机制的多模态信息融合方法：VGTD（Visually Guided Two-stage Decoding model）和VGCD（Visually Guided Collapsed Decoding model）完成联合WS和POS标注的任务。其中：VGTD方法采用交叉注意力机制融合文本和图像信息，并通过两阶段解码策略，先预测可能的词语跨度，再预测相应的标签；VGCD方法也采用交叉注意力机制融合文本和图像信息，并采用了更适当的中文表示以及合并解码策略。在VG-Weibo测试集上的实验结果表明，在WS和POS标注任务上，VGTD方法的F1得分比传统的纯文本方法的两阶段解码模型（TD）分别提升了0.18和0.22个百分点；VGCD方法的F1得分比传统的纯文本方法的合并解码模型（CD）分别提升了0.25和0.55个百分点。可见，VGTD和VGCD方法都能有效利用视觉信息提升WS和POS标注的性能。

关键词：分词,词性标注,多模态数据,视觉信息,社交媒体

基金资助：国家自然科学基金资助项目(62206193)