自注意力信用评估模型

来源：计算机工程与应用杂志2019年第13期北京时间：

作者：刘欣阳，曲彦文，周琪云

单位：江西师范大学 计算机信息工程学院，南昌 330022

摘要：在信用评估问题中，用户信息中既包含类别数据，也包含数值数据。传统的基于人工智能的信用评估模型通常对类别数据进行one-hot变换后，再与数值数据进行拼接作为判别器的输入。与之不同，借鉴了自然语言处理中的词嵌入技术来提取类别数据的词向量；将输入的词向量集合类比为“句子”，并基于自注意力机制从“句子”中提取出用户特征；最后采用多层感知机来预测用户违约的概率。新模型可以使用反向传播算法实现端到端的训练。在三个不同的数据集上将新模型和六种基准算法进行了比较，结果表明该模型能够比基准算法取得更好的性能。

关键词：信用评估,自注意力机制,词嵌入,特征提取,深度神经网络