基于藏文字符感知的文本预训练模型方法研究

来源：计算机工程与应用杂志2024年第21期北京时间：

作者：洛桑嘎登, 尼玛扎西

单位：1.西藏大学 信息科学技术学院，拉萨 850000 ；2.西藏大学 西藏自治区藏文信息技术人工智能重点实验室，拉萨 850000

摘要：目前藏文预训练模型主要使用音节作为藏文单词表示。采用音节嵌入构建藏文单词表示，会存在藏文单词表示不完整且鲁棒性不高的问题。为了应对这一挑战，提出了一个名为藏文字符感知的预训练模型，该模型融合藏文字符、字丁和音节三个维度的特征，从藏文更细粒度的信息表征藏文单词特征。利用原始数据集和对抗性拼写错误测试集，评估了所提出的方法在藏文自动分词和命名实体识别任务上的性能。实验结果表明，该方法可以同时提高藏文预训练语言模型的性能和鲁棒性。

关键词：藏文,预训练模型,字符感知