基于本体的对话状态跟踪及其知识蒸馏方法

来源：计算机应用与软件杂志2025年第8期北京时间：

作者：李啸天, 倪郑威

摘要：对话状态跟踪是任务型对话系统中不可缺少的一部分，用于获取和管理用户在对话上下文中的意图。在以往研究中，对话状态跟踪方法使用多槽位学习以捕捉槽位之间的关联，但没有考虑各个任务的难易差异。此外，现有模型是基于预训练模型的大模型，不利于部署，也不符合对话系统对实时性的要求。针对以上问题，根据槽位分类难易程度为槽位损失加权联合优化；使用知识蒸馏的方法，压缩模型并保持精度；在没有大教师模型的情况下，使用小模型从头开始相互蒸馏，也能达到有教师模型蒸馏的精度。实验结果表明，提出的方法在标准WOZ2.0任务型对话数据集上获得了良好的结果。

关键词：对话状态跟踪, 多任务学习, 知识蒸馏, 相互蒸馏, 预训练模型