Занятие №7 «Обучение»

Седьмое занятие курса «Нейронные сети и их применение в научных исследованиях» для группы НС203. Преподаватель: Дмитрий Пензар Таймкоды: 00:00​ Обучение 01:16 Улучшение сходимости 01:18 Затухание сигмоиды 24:46 Затухание градиента 29:53 Инициализация весов 29:59 Xavier, Glorot 35:02 Kaiming 37:49 Важность 39:30 42:16 Ортогональная минимизация 44:34 Инициализация весов в PyTorch 51:39 Регуляризация 52:28 L1, L2 53:15 Dropout 55:25 Мотивация 55:32 Борьба с коадаптацией 01:00:09 Dropout как ансамбль 01:02:54 Борьба с переобучением 01:04:19 Confidence interval 01:06:19 Реализация 01:19:09 Dropconnect 01:20:34 DropBlock 01:22:48 Нормализация входных данных 01:27:17 Covariate shift 01:30:15 Internal Covariate shift 01:38:10 BatchNorn 01:42::45 Конволюция 01:48:32 Градиент 01:53:21 Tips 01:56:31 Практика 02:02:20 Другие нормализации 02:07:57 Стандартизация весов 3d 02:09:29 Куда стави