Гессиан, или методы второго порядка в численной оптимизации

В DeepSchool мы повышаем квалификацию DL-инженеров: Наш курс “Ракета в Computer Vision“: Методы второго порядка используют вторые производные функции потерь. Важный элемент этих методов — гессиан. Он и является второй производной по параметрам модели. Главная проблема гессиана — его долго считать. Учёные придумали различные методы для его аппроксимации, чтобы экономить вычисления. А недавно появились и алгоритмы оптимизации, которые используют эти аппроксимации. О методах второго порядка мы и записали наше новое видео! В нём Шамиль Мамедов, исследователь из Amazon Robotics, напоминает теорию численной оптимизации и рассказывает про методы приближения гессиана. А также проходится по Sophia — свежему оптимизатору, который использует методы второго порядка. Linkedin автора: Телеграм-канал автора про AI в робототехнике: Присылайте ваши вопросы нам на почту: hello@ Наш телеграм, в котором мы напоминаем теорию и делимся советами по обучению нейросетей: Мы в linkedin: Подписывайтесь, чтобы развиваться в ML и DL вместе! 00:00 | Вступление 02:10 | Методы нулевого порядка 03:04 | Методы первого порядка 03:48 | Методы второго порядка 06:22 | Методы второго порядка для глубокого обучения 06:58 | Заключение