Attention, attention!

Механизм внимания (attention) сейчас является одним из самых полезных инструментов во многих областях применения глубокого обучения, таких как распознавание речи, компьютерное зрение, анализ естественного языка и т.д. В позапрошлом году была представлена архитектура Transformer, заменившая рекурентные и сверточные слои на слои внимания и продемонстрировала очень хорошие результаты во многих задачах. Однако имплементация этой архитектуры довольно сложна, и одной из целей семинара будет разобраться, как прав