Необычные свойства функции потерь в глубинном обучении. Дмитрий Ветров, НИУ ВШЭ

За последние несколько лет в нейронных сетях обнаружен ряд необычных эффектов. Среди них можно упомянуть связность глобальных минимумов, двойной спуск, разрыв между теоретическими предсказаниями и практическими результатами, т.н. «минные поля» в пространстве весов. На вебинаре Дмитрий Ветров, один из самых заметных российских ученых в области машинного обучения, подробнее рассмотрел эти эффекты и представил гипотезу, которая может, по крайней мере, частично объяснить, что происходит в процессе обучения нейронной сети и какими свойствами обладает оптимизируемая в ходе него функция потерь. Основываясь на этой гипотезе Дмитрий предложил ряд экспериментов, которые могут дать ее косвенные подтверждения и расскажет о предварительных результатах. Лучшее понимание динамики обучения нейросети может привести к созданию более эффективных методов обучения. В докладе указаны возможные пути для их улучшения. Спикер: Дмитрий Ветров, НИУ ВШЭ, Москва, Россия.