Метод Левенберга-Марквардта для задач безусловной оптимизации

В работе предлагается и исследуется глобализованный одномерным поиском метод Левенберга-Марквардта для задач безусловной оптимизации с возможно неизолированными решениями. Хорошо известно, что этот метод является эффективным средством решения систем нелинейных уравнений, особенно в случаях наличия вырожденных и даже неизолированных решений. Традиционные способы глобализации сходимости метода Левенберга-Марквардта основаны на одномерном поиске для квадрата евклидовой невязки решаемого уравнения, в роли которого в случае задачи безусловной оптимизации выступает вытекающее из принципа Ферма условие равенства нулю градиента целевой функции. В контексте задач оптимизации такие способы глобализации не вполне адекватны, так как соответствующие алгоритмы не имеют «предпочтений» в плане сходимости к минимумам, максимумам, и вообще любым стационарным точкам. В связи со этим, в данной работе рассматривается другой способ глобализации сходимости метода Левенберга-Марквардта, использующий одномерный поиск для самой целевой функции исходной задачи. В работе показано, что предложенный алгоритм обладает разумными свойствами глобальной сходимости, а также сохраняет высокую скорость локальной сходимости метода Левенберга-Марквардта в слабых предположениях.

задач безусловной оптимизации, неизолированные решения, метод Левенберга-Марквардта, глобализация сходимости

1. K. Levenberg, “A method for the solution of certain non-linear problems in least squares”, Quarterly of Appl. Math., 2 (1944), 164-168.

2. D. W. Marquardt, “An algorithm for least-squares estimation of nonlinear parameters”, J. SIAM, 11 (1963), 431-441.

3. N. Yamashita, M. Fukushima, “On the rate of convergence of the Levenberg-Marquardt method”, Computing, 2001, 15, 237-249.

4. J.-Y. Fan, Y.-X. Yuan, “On the quadratic convergence of the Levenberg-Marquardt method”, Computing, 74 (2005), 23-39.

5. P. E. Gill, W. Murray, M. H. Wright, Practical Optimization, Academic Press, San Diego, 1981.

6. R. B. Schnabel, E. Eskow, “A new modified Cholesky factorization”, SIAM J. Sci. Statist. Comput., 11 (1990), 1136-1158.

7. S. H. Cheng, N. J. Higham, “A modified Cholesky algorithm based on a symmetric indefinite factorization”, SIAM J. Matrix. Anal. Appl., 9 (1998), 1097-1110.

8. J. Nocedal and S.J.Wright, Numerical Optimization, 2, Heidelberg: Springer-Verlag, New York, Berlin, 2006.

9. Д. Бертсекас, Условная оптимизация и методы множителей Лагранжа, Радио и связь, М., 1987.

10. A. Fischer, “Local behavior of an iterative framework for generalized equations with nonisolated solutions”, Math. Program., 94 (2002), 91-124.

11. A. F. Izmailov, M. V. Solodov, E. I. Uskov, “Globalizing stabilized SQP by smooth primal-dual exact penalty function”, J. Optim. Theory Appl., 169 (2016), 148-178.

12. K. Ueda, N. Yamashita, “Convergence properties of the regularized Newton method for the unconstrained nonconvex optimization”, Appl. Math. Optim., 62 (2010), 27-46.

13. C. Shen, X. Chen, Y. Liang, “A regularized Newton method for degenerate unconstrained optimization problems”, Optim. Lett., 6 (2012), 1913-1933.