Д. П. Ветров “Вид функции потерь в нейронных сетях и перспективы ансамблирования“

Аннотация: К настоящему времени мало что известно о виде функции потерь, минимизируемой при обучении глубинных нейронных сетей. За последние несколько лет в глубинном обучении обнаружен ряд интересных эффектов, которые позволяют высказать ряд предположений о ее возможных свойствах. В докладе мы разберем некоторые эффекты и выдвинем гипотезу, которая может объяснить хорошую обобщающую способность обученных нейросетей, наличие «минных полей» в пространстве весов, причины двойного спуска (double descent) по эп