基于语言模型词嵌入和注意力机制的敏感信息检测方法

来源：计算机应用杂志2022年第7期北京时间：

作者：黄诚, 赵倩锐

单位：四川大学 网络空间安全学院，成都 610065

摘要：针对基于关键词字符匹配和短语级情感分析等传统敏感信息检测方法准确率低和泛化性差的问题，提出了一种基于语言模型词嵌入和注意力机制（A-ELMo）的敏感信息检测方法。首先，进行字典树快速匹配，以最大限度地减少无用字符的比较，从而极大地提高查询效率；其次，构建了一个语言模型词嵌入模型（ELMo）进行语境分析，并通过动态词向量充分表征语境特征，从而实现较高的可扩展性；最后，结合注意力机制加强模型对敏感特征的识别度，从而进一步提升对敏感信息的检测率。在由多个网络数据源构成的真实数据集上进行实验，结果表明，所提敏感信息检测方法与基于短语级情感分析的方法相比，准确率提升了13.3个百分点；与基于关键字匹配的方法相比，准确率提升了43.5个百分点，充分验证了所提方法在加强敏感特征识别度、提高敏感信息检测率方面的优越性。

关键词：敏感信息,语言模型词嵌入,语境分析,注意力机制,字典树

基金资助：国家自然科学基金资助项目(61902265);四川省科技厅重点研发计划项目(2020YFG0076)