BERT: Model, Analysis and Modifications, part 1 [in Russian]

Slides: Chat: В современном NLP при решении многих задач используются контекстуальные эмбеддинги, предобученные на большом объеме неразмеченных данных. В данном докладе мы поговорим о том, что такое контекстуальные эмбеддинги, и обсудим подробно наиболее базовую и часто используемую модель - BERT. Мы посмотрим на некоторые варианты анализа того, что происходит внутри этой модели, а также познакомимся с ее более поздними модификациями: RoBERTa, ALBERT и другими.