求解在线三维装箱问题的启发式深度强化学习算法

来源：计算机工程与应用杂志2025年第17期北京时间：

作者：张长勇, 姚凯超, 张宇浩

单位：中国民航大学 电子信息与自动化学院，天津 300300

摘要：货物装载是物流运输过程中的关键一环，属于NP-Hard问题。为解决智慧物流领域货物“即到即码”的实时性问题，提出了一种候选启发式与深度强化学习相结合的在线三维装箱算法。将在线三维装箱表述为带约束的马尔科夫决策过程，并考虑七种实际约束条件，在此基础上设计强化学习要素。设置货物码垛的候选缓存区，根据人工启发式生成有价值的先验知识，以此来初始化深度强化学习算法的训练过程，最终经过对决网络评估后输出最优动作。实验结果表明，算法空间利用率为85.3%，收敛速度提高25%，决策时间平均快15 ms，有效解决了面对大规模动作空间增长导致的智能体初期探索困难的问题，提高了算法的效率和实用性，更适用于实际在线装箱场景。

关键词：NP-Hard问题,在线三维装箱,候选启发式,深度强化学习,马尔可夫决策