Лекция №7. Улучшение сходимости нейросетей и борьба с переобучением
Седьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС224.
Преподаватель: Александр Пославский
00:00:03:13 Улучшение сходимости нейросетей и борьба с переобучением
00:00:06:13 Сигмоида затухает и теоретически и практически
00:00:09:11 Сигмоида затухает и теоретически и практически
00:15:20:17 Инициализация весов
00:18:20:20 Инициализация Ксавьера (Xavier, Glorot)
00:20:45:08 He-инициализация (Kaiming)
00:21:44:08 Важность инициализации весов
00:22:10:21 Обобщение инициализаций Ксавьера и He-инициализации
00:22:22:10 Ортогональная инициализация
00:24:34:21 Инициализация весов в Pytorch
00:30:16:23 Регуляризация
00:31:35:24 L1, L2 регуляризации
00:35:22:23 Dropout
00:57:01:19 Dropconnect
00:57:50:15 DropBlock
01:00:22:00 Нормализация
01:00:23:19 Нормализация входных данных
01:02:19:22 Covariate shift(Ковариантный сдвиг)
01:05:34:01 Internal covariate shift
01:09:30:16 BatchNormalization
01:36:02:10 Другие Normalization
01:42:18:24 Оптимизация весов нейросетей
01:42:26:02 Обзор популярных оптимизаторов
01:55:46:23 Сравнение оптимизаторов
Ссылка на лекцию:
VK:
Telegram:
12 views
8
2
5 months ago 00:28:15 1
ВСЁ что Вы хотели знать о РЕЛЕ. Виды и способы подключения -- в Теории и на Практике!
5 months ago 00:03:17 1
Пальчиковая гимнастика для начинающих. Занятие #2
5 months ago 01:06:21 1
Шнуренко - Катков. Борьба государств - это блеф. Это бараки одного концлагеря
5 months ago 00:12:51 1
Моделирование выкройки платья рубашки в стиле Гучи 😀 #платье
5 months ago 01:02:20 2
Монтаж в DaVinci Resolve. Продвинутый уровень. Занятие №1. Дмитрий Ларионов
5 months ago 00:04:53 1
Лютый обман
5 months ago 01:09:16 1
Бомба от “Лаванды”. Как ИИ управляет массовыми убийствами по биометрии и геоданным. Часть 2
5 months ago 09:00:40 1
Полный курс по ОСОЗНАННЫМ СНАМ с нуля до профи [72 лекции]
5 months ago 00:16:08 1
Никтурия. Ночные походы в туалет. Что с этим делать?
5 months ago 01:46:40 1
Русский и немецкий народы! Выберем вместе ОБЩЕ национального Лидера для Единой Нашей Европы без ЛЖИ!
5 months ago 00:06:33 1
Сатанинский шабаш ТАБУ переплюнул голую вечеринку Ивлеевой!
5 months ago 00:32:14 4
ПРЯМАЯ ПЕРЕДАЧА ЭНЕРГИИ ЧЕЛОВЕКУ. | Я ПРОСТО ОТХЛЕСТАЛА ЕГО ПО ЛИЦУ! | Наталья ГРЭЙС | тренинг
5 months ago 00:38:31 1
ТЕЛО - ТВОЙ ГЛАВНЫЙ ПАРТНЁР! ПОЗАБОТЬСЯ О СЕБЕ! НАТАЛЬЯ ГРЭЙС #зож
5 months ago 00:42:25 1
РЖЯ Лекция Звери в космосе | Дмитрий Эпштейн
5 months ago 01:21:38 1
Алексей Ситников: счастье внутри нас! На 50% восприятие мира - это генетика. Психология долголетия
5 months ago 00:27:51 2
Раскрой свой потенциал во Внутреннем Ребенке! Трансактный анализ, пояснение
5 months ago 00:17:21 1
Экхарт Толле - Если вы видите иллюзорность иллюзии, она растворяется.
5 months ago 01:57:27 1
Бандера. Лекция, которая всех оскорбит
5 months ago 01:46:40 1
ЧЕЛОВЕК ИЛИ ГРАЖДАНИН Евгений Пупырин аудиокнига про основы мироустройства, обществознание для всех
5 months ago 00:04:51 1
Куда будем бежать, чтобы выжить?
5 months ago 00:11:11 1
ЗЕМКЛУНИКА КУПЧИХА. История создания сорта. Достоинства и недостатки земклуники Купчиха.
5 months ago 00:44:14 1
Как работают полицейские, и почему они сами нарушают закон? / Екатерина Ходжаева
5 months ago 02:18:06 1
123/140. ВЛИЯНИЕ СОЗНАНИЯ НА СЛЕДУЮЩЕЕ ПЕРЕРОЖДЕНИЕ. Леонид Тугутов (Лакшми Нараяна дас). Лекция.
5 months ago 00:33:44 1
Обманутое человечество, часть 1. Знания! — ведущий Анатолий Паламар