《计算机工程与应用杂志》发表论文赏析
作者:肖宇, 肖菁, 林桂锦, 倪荣森, 冼嘉荣, 袁基保
单位:1.华南师范大学 人工智能学院,广东 佛山 528000;2.华南师范大学 计算机学院,广州 510631
摘要:逻辑推理能力对于机器和人类理解自然语言具有重要的意义。逻辑推理问题的解释是对逻辑推理过程的阐述和说明,但在已有的测试机器逻辑推理能力的数据集中缺乏这种解释信息。针对该问题,创建了一个可解释性逻辑推理的中英文数据集(explainable logical reasoning,Ex-LoR),该数据集包含3?411个逻辑推理问题与解释数据,并按照推理方法将这些问题分为六类。共设计两个任务:逻辑推理问答任务和解释生成任务。利用多个语言模型在该数据集上进行实验与分析,实验结果表明,现有语言模型尚不能很好地对逻辑推理问题进行解答并生成合理的解释,因此让机器掌握逻辑推理能力具有一定的挑战性。提出的逻辑推理数据集与实验结果可作为后续研究的基准。
关键词:逻辑推理,中英文数据集,可解释性,自然语言处理