机器学习中的双层优化算法简介

来源：计算数学杂志2024年第2期北京时间：

作者：马士谦

单位：莱斯大学计算应用数学与运筹学系，休斯顿 TX 77005, 美国

摘要：双层优化是近年来的一个热门研究方向. 这主要归功于机器学习的兴起和双层优化在机器学习中的许多重要应用. 本文对双层优化的算法、理论及应用最近几年的发展做一个简要的介绍. 内容主要包括双层优化的历史, 双层优化在电力系统, 超参优化, 元学习等领域的应用, 以及双层优化的算法设计和理论保证. 算法方面我们主要分两种情况：下层问题是强凸问题和下层问题是一般凸问题. 这里我们会讨论梯度法和基于下层最优函数的方法. 我们也会重点讨论分布式网络中的双层优化, 包括去中心化的双层优化和联邦双层优化的算法和理论分析.

关键词：双层优化,一阶算法,超参优化,元学习,去中心化计算,联邦学习