Курс “Общий Искусственный Интеллект“, читается на Факультете свободных искусств и наук Санкт-Петербургского Государственного Университета, весенний семестр 2021 года.
Лекция 8, Архитектура Transformer, часть 2
Во второй части лекции рассматриваются модели BERT, GPT и, собственно, Transformer, так же даётся обзор “больших“ моделей, GPT-2 и GPT-3. Особое внимание уделяется способности этих моделей решать широкий круг задач без предварительной подгонки.
00:00 BERT
09:45 Cloze task
12:34 Next Sentence Prediction
13:20 Обучение BERT
19:02 Задачи и подгонка (fine tuning)
27:29 Перегонка знаний (knowledge distillation)
38:20 Casual attention masking
42:10 GPT
49:00 Zero-shot learning для GPT
55:06 Transformer
1:01:34 На что смотрит Transformer?
1:05:05 GPT-2
1:11:15 GPT-3
1:18:53 ruGPT от СБЕР
19 views
6
0
3 months ago 00:32:13 1
Risen : Gothic 3 какой она задумывалась
3 months ago 00:29:52 1
Виктор Петрович Астафьев, и его правда фильм-3
3 months ago 00:15:13 1
МАМА, Я ВЫРАСТУ - Короткометражный фильм по реальным событиям
3 months ago 01:08:58 1
Кто охотится на иранское руководство? У России с персами гораздо больше общего, чем кажется
3 months ago 00:24:53 1
ПОЧЕМУ ПОЛМИРА НЕНАВИДИТ ТЕЙЛОР СВИФТ
3 months ago 00:03:25 1
Летний душ для дачи с подогревом Ариэль 09АРД-Б250 ЛЮКС
3 months ago 00:09:43 1
КАК Отцепить и Зацепить ПОЛУПРИЦЕП/немецкий дальнобой
3 months ago 01:01:52 1
Возмездие 1 серия (военная драма, реж. Александр Столпер, 1967 г.)
3 months ago 00:11:09 1
Что с нами делает Солнце? Разделение миров уже началось – хаос нарастает...
3 months ago 00:08:01 1
КАК УНИЧТОЖИЛИ ОБЩИЙ ТЮРКСКИЙ ЯЗЫК?
3 months ago 00:19:04 5
Афра Сарачоглу и Мерт Рамазан Демир на яхте. Чагатай Улусой и Кыванч Татлытуг: совместный проект?
3 months ago 00:00:00 1
Elden Ring: Shadow of the Erdtree. Новое огромное дополнение
3 months ago 00:00:00 1
18+ ПОЛЯ БИТВЫ: на пути к фрагменту вижна под пивасик + КЛИПЫ | Марвел: Битва чемпионов | МБЧ
3 months ago 00:13:38 1
Станислав Дробышевский жарит миф: теория эволюции человека — ошибочна
3 months ago 00:26:00 1
Зачем народ травят? ГЛИЦИДОЛ вызывает рак и дело не только в пальмовом масле! Самые опасные продукты
3 months ago 00:01:03 1
ЖУТКАЯ АВАРИЯ В БЛАГОВЕЩЕНСКЕ
3 months ago 00:07:43 1
ЭТО позволит ЗАМЕДЛИТЬ ПОДАГРУ БЕЗ ТАБЛЕТОК! #ДокторЖимба
3 months ago 00:20:42 1
СВЯТАЯ ТРОИЦА. Пятидесятница. Протоиерей Олег Стеняев
3 months ago 00:10:00 1
ЗАПАДНЫЕ СМИ. КОНЦЕРТ ВО ВРЕМЯ ВИЗИТА ПРЕЗИДЕНТА РОССИИ.В СЕВЕРНУЮ КОРЕЮ. ИНТЕРЕСНЫЙ МОМЕНТ.
3 months ago 00:16:09 1
Плавающий внедорожник , 3.5 тонны за 3,6 сек до 100 км/ч. BYD YangWang U8
3 months ago 00:13:52 1
ИХ ПЛАНЫ СОРВАНЫ | В Севастополе вскрыта вражеская агентурная сеть
3 months ago 00:02:40 1
Anna Egoyan. Екатерина Довлатова - «Мужчинам не просто...»
3 months ago 00:15:55 1
Кто на самом деле ТАЙНО ПРАВИТ миром? Почему их боялись даже Масоны…
3 months ago 00:28:59 1
Наследие Истбрук-Хиллз. Смотрим настольную игру на “Два в Кубе“