Распознавание образов и машинное обучение. Чтение 29. Вычисляя гессианы

Продолжаем вычислять гессианы функций ошибок и нейросетей и их аппроксимации. 1. Повторяем диагональную аппроксимацию. 2. Аппроксимируем гессиан внешним произведением градиентов функции ошибки. Для этого вида аппроксимации вычисляем и аппроксимацию обратной к гессиану матрицы. 3. Конструируем алгоритм вычисления блоков матрицы гессиана методом обратного распространения. 4. Выводим элегантный быстрый алгоритм вычисления произведения vH (здесь v - транспонированный вектор, H - гессиан) всё тем же методом обратного распространения. #теорвер и #machinelarning, #математика и #программирование, #иммуроран