函数约束优化问题的一阶算法综述

来源：计算数学杂志2026年第2期北京时间：

作者：徐扬扬

单位：伦斯勒理工学院数学科学系, 特洛伊市, NY 12180, 美国

摘要：一阶方法因其计算效率高、可扩展性强, 已被广泛应用于大规模优化问题的求解.早期研究主要集中于无约束优化问题或具有简单约束结构的情形.随着受约束机器学习等新兴应用的快速发展, 近年来研究重点逐渐转向函数约束优化问题中一阶方法的设计与理论分析.本文系统综述了求解复杂约束优化问题的一阶算法研究进展, 涵盖多种不同的结构情形, 包括:确定性线性约束凸优化问题、确定性非线性约束凸优化问题、目标函数非凸但约束凸的确定性优化问题、目标函数与约束均为非凸的确定性优化问题, 以及具有凸或非凸结构的随机优化问题.针对不同方法, 本文总结并比较了其在产生 \epsilon-最优解或 \epsilon-KKT 点方面的复杂度结果, 为理解现有理论成果及未来研究方向提供系统参考.

关键词：一阶方法,函数型约束,约束机器学习,约束资格条件,大语言模型对齐(LLM对齐)