Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)
Ссылка на презентацию: !AlnN0aqNwShslRdcd7-WsY9oUm50
Мой телеграм канал:
Список всех моих образовательных материалов, статей, лекций итд:
В этой вводной лекции о трансформерах мы рассмотрим базовые понятия, алгоритмы и методы, используемые в современных языковых моделях. Мы начнем с базовых знаний о NLP, поговорим про концепцию векторов и эмбеддингов, их смысле. Затем подробно обсудим ткокенизацию и то, почему она столь важна. Мы разберем архитектуру трансформера, включая FeedForward, SelfAttention, CrossAttetntion, а еще постараемся понять роль позиционного кодирования в моедели и разных регуляризаторов и оптимизаций.
Мы также подробно рассмотрим декодер и маскированный Attention и процедуру обучения таких моделей.
Лекция была прочитана онлайн для сообщества Singularis, и по ходу было сделано 5 пауз для Q&A секиций - вполне возможно, что вопрос, появившийся у вас, будет отвечен в лекции!
Подпишитесь на наш канал, чтобы не пропустить новые видео о машинном обучении и искусственном интеллекте. Не забудьте поставить лайк и поделиться этим видео с друзьями, если оно вам понравилось. Если у вас возникнут вопросы или предложения, оставляйте их в комментариях!
Timeline:
0:00 - 4:10 - Intro
4:10 - 11:41 - NLP 101 (intro for ML Engineers), W2V, Embeddings
11:41 - 15:55 - Tokenization Intuition
15:55 - 23:08 - Tokenization Details and how to build a Vocabulary
23:08 - 28:55 - Why Tokenization matters
28:55 - 36:10 - 1st Q&A
36:10 - 39:58 - Transformer: a 10’000 foot view
39:58 - 45:06 - FeedForward layer
45:06 - 49:19 - 2nd Q&A
49:19 - 1:08:01 - Self-Attention Mechanism in Detail
1:08:01 - 1:14:05 - 3rd Q&A
1:14:05 - 1:20:59 - Multi Head Self-Attention & its Matrix form
1:20:59 - 1:26:55 - Positional Encodings
1:26:55 - 1:32:11 - Transformer Optimizations & Regularizers: LayerNorm, Skip-Connection
1:32:11 - 1:36:31 - 4th Q&A
1:36:31 - 1:43:50 - Decoder & Cross-Attention
1:43:50 - 1:50:30 - Masked Self-Attention & Training Procedure
1:50:30 - 1:53:48 - 5th Q&A
1:53:48 - 2:04:50 - BERT Training: MLM, NSP
2:05:50 - 2:14:19 - Outro: why are Transformers THAT good?
2:14:19 - 2:17:09 - 6th and final Q&A
----
#Трансформеры #Машинноеобучение #Искусственныйинтеллект #NLP #DeepLearning #AI #NeuralNetworks #BERT #AttentionMechanism #NaturalLanguageProcessing #Tokenization #MachineLearningAlgorithms #DataScience #LanguageModels #ML #GPT #OpenAI #MLengineers #WordEmbeddings #PositionalEncoding #LayerNormalization #SkipConnection #CrossAttention #MLM #NSP #chatgpt #attention #attentionisallyouneed
1 view
223
73
5 months ago 00:23:01 1
ULTIMATE Boy To Girl Make-Up + Boobs Tutorial
5 months ago 01:59:13 1
Ascension vs Integration – Gods, ETs and the Omniverse: An Interview with George Kavassilas
5 months ago 00:05:55 1
What is Web3 🔥 What Is Web3 & How Does It Work?
5 months ago 00:00:52 1
Chloe Ting Workout RESULTS!! 6 Month Body Transformation 🙏🏻💚🦄
5 months ago 00:28:47 2
Hombrew Sinclair QL Power Supply
5 months ago 00:00:12 1
Will straw hats will win this war???🍈/onepiece #palestine #israelpalestineconflict #zoro #anime #10k
5 months ago 00:22:11 1
Every Ultimate Finisher All Ultra Combos Killer Instinct Anniversary Edition Intros
5 months ago 00:23:50 1
The Mysterious Of Mirror Principles Explained in 4 Simple Steps (Life Changing) | Aanant Bisht
5 months ago 00:08:32 1
Difference between MADE OF / MADE FROM / MADE WITH / MADE OUT OF Super Useful English Grammar
5 months ago 00:03:49 1
Coolest. Robots. Ever!: The ABC Warriors – The 2000 AD ABC
5 months ago 00:48:11 1
«Start from the end» Pastor Andrey Shapovalov
5 months ago 00:19:06 1
Suno Prompting SECRETS! Powerful Metatags That Transform Your AI Music!
5 months ago 00:26:10 1
Attention in transformers, visually explained | Chapter 6, Deep Learning
5 months ago 00:07:18 1
How Heckler & Koch transformed unreliable L85A1 assault rifle into a battle-winner
5 months ago 00:11:11 1
Anubis & Bastet Egyptian Subliminal to Communicate/ Connect with Your Pet in Afterlife/ After Dea th
5 months ago 00:04:01 24
Overloud Fluid IRs explained
5 months ago 00:23:10 1
Amazing Manufacturing of A Car Disk Brake Plate |
5 months ago 01:42:12 1
The Mysterious World of Bass Pickups (Explained!)
5 months ago 00:00:18 1
Yoruichi Cat 🥵 God-Damn Edit ~ Manga
5 months ago 00:15:10 1
The Demon Ornias [The Testament of Solomon] (Angels & Demons Explained)
5 months ago 00:07:52 1
American Accent EXPLAINED with “ROBOCOP 1987“ plus a SLANG TERM! #12
5 months ago 00:39:13 1
Job for a Cowboy - Moon Healer (FULL ALBUM)
5 months ago 00:46:18 1
Chapter IV + V | OMEGA SUPREME BOSS - Transformers War For Cybertron (With Reshade Mod + 60FPS)
6 months ago 00:00:32 1
The sole Catholic priest in Gaza reports that three percent of Christian population wiped out