三维大语言模型研究进展与挑战

来源：计算机工程与应用杂志2025年第24期北京时间：

作者：郭明, 张雅如, 朱丽, 王国利, 黄明

单位：1.北京建筑大学 测绘与城市空间信息学院，北京 102616；2.代表性建筑与古建筑数据库教育部工程研究中心，北京 100044；3.教育部古建筑安全与节能国际合作联合实验室，北京 100044

摘要：三维大语言模型（3D LLM）作为一种重要的跨模态学习方法，不仅能够处理语言数据，还能融合和理解三维点云、图像和视频等多种数据，推动场景理解、推理和生成任务的发展。随着智能系统对空间感知和多模态数据处理需求的增加，三维大语言模型的应用需求日益增长。针对三维大语言模型发展，探讨了其特点、研究方向、面临的挑战及研究目标，讨论了三维大语言模型的网络框架，包括多源三维数据集构建、数据预处理与特征提取、多模态特征融合、模型预训练与高效优化策略，以及多种下游任务的应用，分析了三维大语言模型的评估方法，涵盖模型综合性能比较、零样本学习及泛化能力分析。简述了三维大语言模型的研究局限，展望了应用前景，并提出了未来可进行研究的方向。

关键词：三维大语言模型（3D LLM）,多模态学习,点云,神经网络,特征融合