Глубокое обучение. Лекция 10. Тонкости обучения и масштабирования нейронных сетей (2019-2020)

В рамках лекции рассмотрены следующие способы повышения точности глубоких нейронных сетей: - Обучение со стохастической глубиной; - Линейное масштабирование коэффициента обучения; - Learning Rate Warm-up; - Cosine Learning Rate Decay; - Нулевое значение гаммы в Batch Normalization; - Недобавление смещений в Weight Deay; - Label Smoothing; - Mixup Data Augmentation. Помимо этого рассматривается метод масштабирования нейронных сетей EfficientNet. Евгений Разинков -- к.ф.-м.н., руководитель отдела машинного о