Лекция 6: Трансформеры (часть 1). МФК «Нейронные сети и их применение в научных исследованиях».
Шестое занятие на МФК«Нейронные сети и их применение в научных исследованиях» для студентов МГУ.
Преподаватель: Виктор Немченко
00:00 Заставка
00:06 Приветствие
00:16 Лекция 6. Трансформеры
00:25 В предыдущих сериях
00:49 Часть 1
00:50 Трансформеры
01:33 Проблемы рекуррентных нейронных сетей
02:40 Seq2Seq
02:55 Машинный перевод
04:03 Энкодер и Декодер
05:43 Attention (внимание)
11:07 Ответы на вопросы
12:44 Часть 2
12:48 Применение трансформеров в поиске
13:01 Как работает поиск
15:10 Обучение нейросети без разметки данных
15:57 Self-supervised learning
21:10 Пример работы маски предсказания слов
23:13 BERT
24:09 Заморозка весов
24:58 Пример работы нейросети : анализ тональности
29:34 Работа трансформеров с картинками
30:15 Visual Transformer (ViT)
31:52 Self-Supervised для картинок
33:09 DINO
34:34 Трансформеры работают с речью
34:52 Wav2vec 2.0
36:15 Ответы на вопросы
42:53 Краткий итог содержания лекции
1 view
685
288
2 months ago 00:19:13 1
Кто на крови семьи В.В. Путиных и Русского народа России лезет незаконно на Трон Российской Империи?
2 months ago 00:55:47 1
«Стиль модерн: утопия и ее воплощение». Лекция Дарьи Гайдуковой и Анастасии Добрыдневой
2 months ago 00:15:49 1
Мальчик и Мастер. Как изменилась жизнь подростка с практикой Крийя
2 months ago 06:02:52 1
Пт.(). Одушнетворённый стрим
2 months ago 06:03:10 1
Чт.(). Что мужчины хотят от женщин?
2 months ago 00:10:09 1
Почему мы боимся признать ошибки? | Александр Соколов про лженауку
2 months ago 00:18:12 1
БЕЗУМИЕ НА ТОБОЛЕ: ЯДЕРНОЕ ОРУЖИЕ ДЛЯ ПРОКЛАДКИ СУДОХОДНЫХ КАНАЛОВ? НЕ ЛЕКЦИЯ 🔥 КУРГАН МУЛЬТИИСТОРИЯ
2 months ago 01:03:44 1
Как перезагрузить мозг и продлить жизнь? Профессор Ситников: ключ к улучшению психического здоровья
2 months ago 01:33:01 1
Как избежать мозолей в походе
2 months ago 00:07:28 3
О Према Саи Баба Втором пришествии Иисуса Христа
2 months ago 00:16:20 1
Занятие 9. Программирование
2 months ago 00:40:23 1
Зачем нужна альтернативная служба, и как законно отказаться воевать? / Арсений Левинсон
2 months ago 01:01:53 1
Механика рынка и типы ордеров. Обучение трейдингу с нуля бесплатно. Так просто!
2 months ago 01:19:01 1
Беседа 50 из цикла “Апостольское свидетельство“ | Иерей Константин Корепанов ()
2 months ago 00:54:03 1
Смотри эту лекцию если хочешь быть стать по настоящему Свободным!
2 months ago 00:54:46 1
Детские вопросы, выпуск 5
2 months ago 00:53:53 1
Детские вопросы, выпуск 4
2 months ago 00:54:11 1
Детские вопросы, выпуск 3
2 months ago 00:19:58 1
Детские вопросы, выпуск 2
2 months ago 00:22:26 1
Детские вопросы, выпуск 1
2 months ago 00:03:52 1
Чекап безопасности — когда в доме малыш. Защита ребенка
2 months ago 01:33:27 1
Выступление председателя СК РФ А.Бастрыкина
2 months ago 00:14:28 1
Практические занятия по робототехнике. Конструктор ROBOT BIN CLASSIC
2 months ago 05:14:42 1
Ср.(). В прямом эфире: Что такое критическое мышление?