ATBench: 面向端到端数据分析任务的分析轨迹评估基准

来源：华东师范大学学报·哲学社会科学版杂志2025年第5期北京时间：

作者：王旭飞, 许华容, 陈攀峰, 陈梅, 马丹, 陈正曦, 田旭, 李晖

摘要：提出了一个用于端到端数据分析任务中分析轨迹的评估基准ATBench, 以弥补现有评估基准在粒度细节和领域覆盖方面的不足. 分析轨迹是智能体围绕分析目标, 在多轮交互中持续提出问题、生成洞察, 最终形成总结的分析链. 通过结合已有评估基准和Kaggle平台的真实任务数据, 采取目标驱动与探索驱动相结合的标注策略, 构建了151个评估数据集, 涵盖8个领域. 此外, 提出了一个细粒度的评估指标: 分析轨迹得分$ T_{{\mathrm{score}}} $, 用于量化智能体在执行端到端数据分析任务过程中的连贯分析能力. 实验结果显示, ATBench具备较高的稳定性与判别效能, 能够可靠区分不同模型在端到端数据分析任务中的性能差异. 同时, 该基准揭示了智能体在连贯分析和洞察发现方面的不足, 可为后续智能体优化提供数据支持.

关键词：智能体,数据分析,评估基准,

基金资助：国家自然科学基金(62162010, 72161005); 国家重点研发计划(2023YFC3341202, 2023YFC3341205)