融合视觉的多模态通信感知一体化关键技术及原型验证

来源：电子与信息学报杂志2026年第2期北京时间：

作者：赵川斌, 许伟华, 林博, 张腾宇, 冯源, 高飞飞

单位：1.清华大学自动化系 北京 1000842.中国电信股份有限公司四川分公司 成都 6100003.中国信息通信研究院 北京 100191

摘要：面向6G系统的通信感知一体化(ISAC)技术具备感知物理世界的能力。视觉可以感知环境进而辅助通信，同样无线信号可以辅助突破视觉感知的局限。该文首先探明环境视觉与无线通信的内在关联机理，进而阐述基于视觉感知辅助通信的算法，包括波束预测、遮挡预判和多基站多用户的资源调度分配方法；然后基于无线信号辅助视觉感知，探索基于无线信号辅助视觉的环境感知，提出静态环境重建和动态目标感知方法，从而辅助恶劣天气、不良光照等非理想条件下的鲁棒感知；形成一套完整的融合视觉的多模态无线通信感知一体化理论和技术方法。同时，进行了软硬件仿真测试与原型平台验证。实验结果表明，具备视觉支持的多模态ISAC系统的应用潜力巨大。

关键词：通信感知一体化, 多模态, 视觉辅助通信, 静态环境重建, 动态目标感知