Лекция №7. Улучшение сходимости нейросетей и борьба с переобучением

Седьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС224. Преподаватель: Александр Пославский 00:00:03:13 Улучшение сходимости нейросетей и борьба с переобучением 00:00:06:13 Сигмоида затухает и теоретически и практически 00:00:09:11 Сигмоида затухает и теоретически и практически 00:15:20:17 Инициализация весов 00:18:20:20 Инициализация Ксавьера (Xavier, Glorot) 00:20:45:08 He-инициализация (Kaiming) 00:21:44:08 Важность инициализации весов 00:22:10:21 Обобщение инициализаций Ксавьера и He-инициализации 00:22:22:10 Ортогональная инициализация 00:24:34:21 Инициализация весов в Pytorch 00:30:16:23 Регуляризация 00:31:35:24 L1, L2 регуляризации 00:35:22:23 Dropout 00:57:01:19 Dropconnect 00:57:50:15 DropBlock 01:00:22:00 Нормализация 01:00:23:19 Нормализация входных данных 01:02:19:22 Covariate shift(Ковариантный сдвиг) 01:05:34:01 Internal covariate shift 01:09:30:16 BatchNormalization 01:36:02:10 Другие Normalization 01:42:18:24 Оптимизация весов нейросетей 01:42:26:02 Обзор популярных оптимизаторов 01:55:46:23 Сравнение оптимизаторов Ссылка на лекцию: VK: Telegram: