面向遥感智能体的多模态图文指令大规模数据集

来源：电子与信息学报杂志2026年第4期北京时间：

作者：王佩瑾, 胡会扬, 冯瑛超, 刁文辉, 孙显

单位：1.中国科学院空天信息创新研究院 北京 1001902.中国科学院大学 北京 1001903.中国科学院大学电子电气与通信工程学院 北京 1000494.目标认知与应用技术国家级重点实验室 北京 100190

摘要：随着遥感应用不断从静态图像分析迈向智能化认知决策任务，构建覆盖多任务、多模态的信息融合数据体系已成为推动遥感基础模型发展的关键前提。该文围绕遥感智能体中的感知、认知需求，提出并构建了一个面向多任务图文指令的遥感多模态数据集，系统组织图像、文本指令、空间坐标与行为轨迹等多模态信息，统一支撑多阶段任务链路的训练与评估。该数据集涵盖9类核心任务，包括关系推理、指令分解、任务调度、定位描述与多模态感知等，共计21个子数据集，覆盖光学、SAR与红外3类遥感模态，总体数据规模超过2 000 000样本。在数据构建过程中，该文针对遥感图像的特性设计了标准化的指令格式，提出统一的输入输出范式，确保不同任务间的互通性与可迁移性。同时，设计自动化数据生成与转换流程，以提升多模态样本生成效率与一致性。此外，该文还介绍了在遥感基础模型上的基线性能评估结果，验证了该数据集在多任务泛化学习中的实用价值。该数据集可广泛服务于遥感领域多模态基础模型的构建与评估，尤其适用于统一感知-认知-决策闭环流程的智能体模型开发，具有良好的研究推广价值与工程应用前景。

关键词：遥感基础模型, 多模态指令数据集, 感知-认知-决策

基金资助：国家重点研发计划(2024YFF1401001)，中国科学院空天信息创新研究院科学与颠覆性技术项目(2025-AIRCAS-SDTP-04)