Tree Structures and (Self)attention

В области обработки естественного языка модели с архитектурой Transformer уже несколько лет пользуются популярностью, что не удивительно, так как различные её модификации показывают SOTA на ряде задач. Ванильный трансформер работает с последовательными данными, слова поступают на вход модели в порядке их написания в предложении, что совсем не учитывает синтаксические особенности языка. Однако в некоторых случаях, важно учитывать и синтаксис, например, при работе с языками программирования, где в язык заложе