数字孪生多模态视觉推理的神经-符号系统

来源：计算机集成制造系统杂志2024年第5期北京时间：

作者：郑杭彬, 刘天元, 郑汉垚, 左戴悦, 鲍劲松, 王森

单位：1.东华大学机械工程学院2.上海宝信软件股份有限公司

摘要：面对数字孪生在多模态视觉数据融合中的异质性和动态性挑战,提出一种结合深度学习与符号智能的方法。该方法通过深度神经网络对视觉数据进行实时解析,并借助符号系统存储的知识和事件响应规则,实现对复杂推理过程的自主管理。为提高系统对物理世界变化的适应性,提出一种融合多模态信息和外部知识的增强推理机制,该机制能有效地整合来自传感器的实时数据和历史知识库中的信息,以支持更加准确和合理的决策制定。以退役锂电池拆解过程为案例验证表明,该方法不仅能够在多模态数据环境中实现高准确率的识别和分析,还能够基于推理机制生成合理且逻辑一致的操作建议,有效提升了拆解效率和安全性。

关键词：数字孪生,多模态,视觉推理,神经符号系统,锂电池拆解