Глубокое обучение. Лекция 11. Методы оптимизации в обучении глубоких нейронных сетей (2019-2020)

В рамках лекции рассмотрены следующие методы оптимизации, использующиеся в обучении глубоких нейронных сетей: - Batch Gradient Descent; - Stochastic Gradient Descent; - Mini-Batch Gradient Descent; - Momentum; - Nesterov Accelerated Gradient; - AdaGrad; - Adam. Коротко рассмотрены преимущества и недостатки алгоритмов, а также рекомендации по их применению. Доказательства сходимости НЕ приводятся. :) Это последняя лекция курса по Deep Learning. Надеюсь, курс оказался Вам полезен) Евгений Разинков – к.ф.-м