Сквозная модель понимания речи с помощью кросс-модального обучения методом Учитель-Ученик

Павел Денисов, Институт обработки естественного языка, Штутгартский университет, Германия. Докладчик о вебинаре Задача понимания речи (spoken language understanding, SLU) традиционно решается в два этапа: сначала система распознавания речи преобразует речь в текст, затем модель понимания естественного языка (Natural Language Understanding, NLU) выделяет смысл из полученного текста. Замена этих двух этапов единой сквозной (end-to-end) нейросетевой моделью имеет ряд преимуществ, но осложнено относительно малым количеством размеченных данных доступных для тренировки моделей, что решаемо разнообразными методами переноса обучения (transfer learning). В этой презентации я рассказал о нашем методе создания сквозной модели понимания речи, который заключается в копировании параметров моделей распознавания речи и понимания естественного языка с последующим кросс-модальным дообучением методом Учитель-Ученик. Используя модель семантического представления предложений Sentence-BERT в качестве Учителя, мы д