Распознавание образов и машинное обучение. Чтение 30. Регуляризация в нейросетях

Обсуждаем особенности борьбы с переобучением регуляризацией весов. Выясняем, что регуляризацию следует проводить в разных слоях с разными параметрами, не учитывая смещения, дабы сохранить инвариантность относительно линейных преобразований над векторами обучающей выборки. Изучаем, как параметры регуляризации через распределение весов влияют на распределение функций, задаваемых нейросетями. Наконец, задаёмся вопросом о том, почему ранняя остановка обучения имеет смысл, и почему её можно считать одним из методов регуляризации. 1P.S. Неплохо бы вспомнить материал о регуляризации линейных моделей из главы 3. 2P.S. Неплохо бы разобрать решение задания о ранней остановке как методе регуляризации. #теорвер и #machinelarning, #математика и #программирование, #иммуроран