Методы оптимизации 12. Стохастическая оптимизация. SGD
Дата лекции:
Лектор: Безносиков Александр Николаевич
00:00:00 - постановка задачи стохастической оптимизации
00:06:43 - другая постановка
00:12:07 - стохастический градиентный спуск, SGD
00:13:04 - условное матожидание
00:18:51 - доказательство сходимости
00:32:21 - проблемы сходимости
00:47:26 - почему SGD не сходится
00:53:54 - модифицируем SGD
00:57:58 - алгоритм SAGA
01:04:06 - алгоритм SVRG
01:07:26 - алгоритм SARAH
Материалы курса:
Съёмка: Егор Вашкевич
Монтаж: Игорь Сенин