基于多模态交叉融合的多图表联合问答方法
来源：计算机集成制造系统杂志2025年第8期北京时间：
作者：王鑫鑫, 陈亮, 刘昌宏, 刘晋宇
单位：1.西安工程大学计算机科学学院2.商洛学院经济管理学院3.重庆中烟工业有限责任公司黔江卷烟厂4.重庆旅游职业学院智慧旅游学院
摘要：为了满足在无法直接访问底层数据库的情况下,用户对于多张图表间关联性问题的交互式探索需求,提出了一种多图表联合问答方法。该方法通过两个核心阶段——数据准备和答案生成,实现了对多张图表数据的联合解读。在数据准备阶段,通过将图表数据提取重构为表格数据并对其每个单元格进行文本描述,为后续模型提供统一的数据格式。此外,为提高模型的准确性和回答效率,提出文本事实筛选方法,该方法能够在大量的表格文本描述中筛选出与用户问题相关的文本,为后续的答案生成提供精准的数据支持。在答案生成阶段,采用多模态融合技术,将这两种不同模态的信息进行交叉融合,以获取更精确的回答。
关键词：多图表联合问答,多模态融合,表格文本描述,事实筛选
基金资助：国家自然科学基金资助项目(51675108);陕西省教育厅重点科学研究计划资助项目(22JS021)。
