Распознавание образов и машинное обучение. Чтение 34. Байесовское обучение нейросетей
Завершаем главу о нейросетях байесовскими методами работы с ними. Через несколько глав мы вернёмся к этой проблеме с продвинутой технологией вариационного вывода. Здесь же мы переносим байесовские процедуры работы с линейными моделями на нейросети.
Функция нейросети нелинейна, и это создаёт сложности. Но мы сталкивались с подобными проблемами при байесовском анализе линейных классификаторов, и знаем, что делать. Нужно искать моду апостериорного распределения параметров нейросети методом максимизации этого распределения, после чего строить приближение Лапласа вокруг этой моды, чтобы получить нормальное апостериорное распределение параметров, которое можно использовать для построения прогнозного распределения. С ним тоже возникнут проблемы из-за нелинейности функции нейрости. С этим обстоятельством мы справляемся при помощи линеаризации функции нейросети через ряд Тейлора в окрестности найденных параметров нейросети.
Необходимые для всех этих вычислений градиенты и гессианы можно рассчитывать методом обратного распространения ошибок.
Кроме этого, мы можем перенести и процедуру оптимизации гиперпараметров для линейных моделей на нейросети. С оговоркой о том, что апостериорное распределение для нейросети окажется мультимодальным, и поэтому параметры нейросети, полученные максимизацией апостериорного распределения, будут зависеть от выбора начальных значений численного метода оптимизации. Тем не менее, мы можем использовать эту процедуру для сравнения моделей с разной архитектурой скрытых слоёв, помня о том, что вероятность - это мера, а найденные нами параметры нейросети принадлежат большому классу эквивалентных по задаваемой функции параметров, на что нужно делать поправку.
#теорвер и #machinelearning, #иммуроран и прикладной #матан
226 views
291
75
3 years ago 00:13:37 508.7K
Как работают системы распознавания лиц и образов?
9 months ago 00:00:18 1.9K
Распознавание лица. Образы
1 week ago 00:39:49 1
Искусственный интеллект, ChatGPT и распознавание образов / Шелия Губерман
5 years ago 00:01:00 1.7K
Уникальная российская разработка позволила ускорить в 10 раз распознавание образов нейросетью
3 months ago 01:18:39 262
Распознавание образов и машинное обучение. Чтение 34. Байесовское обучение нейросетей
3 months ago 01:01:58 47
Распознавание образов и машинное обучение. Чтение 36. Разнообразие ядер
2 years ago 00:01:27 2.2K
Классная иллюстрация того, как работают свёрточные нейронные сети (CNN) для распознавания образов
2 years ago 01:21:30 149
Семинар 4 (Распознавание образов, теория информации).
8 years ago 00:24:24 3.8K
Распознавание образов. Персептрон // Валерий Опойцев
2 months ago 00:50:02 291
Распознавание образов и машинное обучение. Чтение 41. Гауссовские процессы: классификация, или no pain, no gain
3 months ago 01:14:33 30
Распознавание образов и машинное обучение. Чтение 38. Гауссовские процессы
5 years ago 00:01:38 3.1K
Распознавание образов при помощи AI
12 months ago 01:01:16 154
Распознавание образов и машинное обучение. Чтение 20. Многоклассовый ИНКП. Пробит-регрессия
3 months ago 01:06:01 40
Распознавание образов и машинное обучение. Чтение 39. Регрессия через гауссовский процесс
2 years ago 00:01:15 2.6K
Распознавание образов в технических системах | ИППТ
5 months ago 00:34:00 5
Cyberpunk 2077 ➪ # 78) Распознавание образов
2 years ago 01:10:02 40
РО_Л3
5 years ago 00:51:40 2.7K
И.В. Бондарь “Распознавание образов“
2 years ago 00:01:30 4.8K
Программирование дронов: полет и распознавание образов
4 years ago 00:03:51 18K
Распознавание видеопотока в SimInTech
3 months ago 00:59:07 57
Распознавание образов и машинное обучение. Чтение 35. За пределами нейросетей: ядерные методы