Методы с суженной матрицей Гессе как возмущенный метод Ньютона–Лагранжа

Для задачи оптимизации с ограничениями-равенствами обсуждается возможность интерпретации методов последовательного квадратичного программирования, использующих суженную на ядро матрицы Якоби ограничений матрицу Гессе функции Лагранжа, как возмущенного метода Ньютона–Лагранжа. Показано, что такая интерпретация с нужными оценками на возмущения возможна для определенных последовательностей, генерируемых вариантами метода с поправками второго порядка. Это позволяет с общих позиций установить сверхлинейную скорость сходимости таких последовательностей, вообще говоря отсутствующую для основных последовательностей рассматриваемых методов.

1. J. Nocedal, S.J. Wright, Numerical Optimization, 2nd ed., Springer, New York, 2006.

2. А.Ф. Измаилов, М.В. Солодов, Численные методы оптимизации, 2-е изд., перераб. и доп., Физматлит, М., 2008.

3. A.F. Izmailov, M.V. Solodov, Newton-Type Methods for Optimization and Variational Problems, Springer Series in Operations Research and Financial Engineering, Springer, Cham, 2014.

4. R.H. Byrd, "An example of irregular convergence in some constrained optimization methods that use the projected Hessian", Mathematical Programming, 32 (1985), 232-237.

5. Y. Yuan, "An only 2-step Q-superlinear convergence example for some algorithms that use reduced Hessian approximations", Mathematical Programming, 32 (1985), 224-231.

6. R.H. Byrd, "On the convergence of constrained optimization methods with accurate Hessian information on a subspace", SIAM J. on Numerical Analysis, 27 (1990), 141-153.

7. R.H. Byrd, J. Nocedal, "An analysis of reduced Hessian methods for constrained optimization", Mathematical Programming, 49 (1990), 285-323.

8. J. Nocedal, M.L. Overton, "Projected Hessian updating algorithms for nonlinearly constrained optimization", SIAM J. on Numerical Analysis, 22 (1985), 821-850.

9. J.F. Bonnans, J. Ch. Gilbert, C. Lemaréchal, C. Sagastizábal, Numerical Optimization: Theoretical and Practical Aspects, 2nd ed., Springer, Berlin, 2006.

10. T.F. Coleman, A.R. Conn, "On the Local Convergence of a Quasi-Newton Method for a Nonlinear Programming Problem", SIAM Journal on Numerical Analysis, 21:4 (1984).